买房不把房产证交给他贷款的银行,我该怎么办?或者是有什么限制他的东西?

买方贷款买我的房子,我们马上要签过户手续了,但是房管局说办好的房产证会直接给到买方手里,我担心买房不把房产证交到贷款的银行，或者是故意拖着不给，让我再出点钱，我该怎么防止他的这种行为呢？ 因为在交易过程中，对方有不诚实的地方，让我产生这种疑虑。