买房交了定金,

买了酒店式公寓交了定金，可是由于落户问题想退房写了份情况说明上交销售商的，可是对方一再拖延不退还5万元定金，现在眼看签订预售合同和首付日要到了。我们想说实在不行要把房子买下来了，对方说我们房子已经退了又不让我们买了。想问一下我这5万元就拿不回来了吗？想买房也买不了了？