卖出的房子对方要退,我同意了,对方又反悔了

四年前卖一套房子，对方一直未入住，年前以妻子不满意为由要求退房，考虑到乡邻关系我口头答应了，现在我筹够房款准备兑现退房承诺时对方却又把自己年事已高的父母拉到那栋房子里并组织装修房子。现在我可以强制退房吗？