卖家拖着不签合同

我是8.26签了居间协议，给了10万意向金，后来在9.2交了40万首付款总计50万，但是卖家迟迟不签买卖合同，当初说的拿到首付款他去还房贷，现在又说920才去还房贷，而且说签合同可以，但是如果超过两个月银行按揭贷款下不来我就要按贷款金额付他月息两分的利息，我肯定不同意，然后如果我要不想买了，该怎么办，谢谢各位