想问一下,我买了套二手房网签合同签过了,首付己付给房产局资金托管处,到银行办理贷款时,房主不肯去银行

想问一下,我买了套二手房网签合同签过了,首付己付给房产局资金托管处,到银行办理贷款时,房主不肯去银行签字说不想卖了,说要单方面去房产局撤销合同,之前我还付给他一万定金,中介费也是我一个人付的,该怎么办?谢谢!