二手房首付交给中介吗

我通过中介买了一套二手房。当时，也怪我没有社会经验，在中介的再三的催促下，稀里糊涂的签了合同。最后，才发现合同中有一条款我们不同意：购买房屋的首付款必须打到中介的账户上。我们担心资金的安全，就不同意。中介就以此为借口不给办贷款。 请问，面对这种情况我们该怎么办呢？