我在老家有一套房屋与买方只有定金收条,房屋总价及房屋的具体位置,并写有一些约定我该如何在不退定金的情况下终止约定?

我在老家有一套房屋与买方只有定金收条,房屋总价及房屋的具体位置,并写有一些约定,但没有写付全款的时间期限,现在买方一直拖延付全款,并有不想买的意思。我该如何在不退定金的情况下终止约定?