购房首付退还问题

去年4月份首付20万购置新房一处，最初具体什么原因不太了解，好像是某一地段有房屋未拆迁。那一栋楼无法开工，但本人最初不知，房地产商一直有意欺瞒。至今一直没有开工。今年4月份已经办理退房手续，但首付一直拖延至今。最近一段时间其它几栋楼因为欠钱，建筑商已经停工讨薪。请问，我的首付怎样才能拿回来？