房屋过户手续已经办好,中介费未支付,中介公司就扣押房产证,此举是否合法?

我于今年初通过中介购买了一套二手房，由于房屋钥匙还未拿到，当时和卖家说好四月底交房，故中介费暂未支付，中介以此为由，不肯给我们房产证和土地证，请问此举是否合法，我有无权利要求中介及时归还房产证？