二手房贷款银行审批不通过,首付金拿不回来怎么办?

我买了一套二手房，是在中国邮政储蓄银行办理的房贷申请。现在银行要求先把首付金打到卖方的银行账户，进行冻结。可是银行方面的说法是，如果房贷审批不通过，那么必须得到卖方人签字，才能退回我的首付金。请问流程真的是这样吗？万一卖家迟迟不签字我不是拿不回我的钱？