我买的二手房,支付了40%首付,剩余得公积金贷款,贷款估计还得一个月下

我买的二手房，支付了40％首付，剩余得公积金贷款，贷款估计还得一个月下来（之前等了快一个月了），卖方等不及了，之前口头已经答应让我住进去，钥匙也给我了，家具都买的差不多了，现在不让我住，请问我现在该怎么办？