对方付了定金以后,又买不了房

我是卖方,买方付了定金,剩余部分他准备用贷款的方式付,但是由于他征信的原因,无法贷款,所以就没法给我们付钱了。现在他也不说不买了,就一直拖着我们,当时写合同的时候也没有约定什么时候付不齐全款算违约,这样我该怎么办,总不能被一直拖着吧