请教个拆迁违约问题

请教：我家有一门面房因开发已经与开发商达成协议并签署 开发商一对一置换并补偿我停业损失2万元。前天我已经把2万元领取 但就在今天开发商找我说因为种种原因暂不开发 并想要回支付我的2万元。我想请教一下 我应该把这2万元全额退还给他吗？ 那我的损失怎么办？因为我把家里的烧材和煤都送人了 还把装修也拆了（家在东北小镇）