急！请大家帮帮忙。二手房纠纷

我买了一处二手房，8月25日在中介签订买卖合同，由于房屋在银行抵押，卖方需先清贷，合同约定买方筹首付款以卖方清贷时间为准（没有约定具体时间）。9月13日，卖方找一个垫资机构替他清贷，垫资机构冻结我（买方）首付款。9月24日，卖方清贷完毕。我们9月31日去房管局打买卖协仪。我申请公积金组合贷款，银行没有批下来，于是转成按揭贷款。10月18日，第二次去房管局打买卖协议。10月29日过户。现在房款卖方已经拿到，但他不搬家，说我违约了，首付款存晚了，贷款耽误时间了，要求赔偿。当初换银行是他同意的，请问，我应该怎么做？我有没有违约？合同明确规定交房时间，但他就是不搬家。请大家帮帮忙！我该怎么做 收起