政府将违法建筑变合法的建筑,然后出售

我们几年前以将近2000元每平方米的价格,买了一套楼房,全款交钱了,之后迟迟不给钥匙,政府说那片楼房是违建,不让卖,结果政府把房子收过去了,让我们等消息,现在政府跟我们说可以退当初的钱,要不就以现在的房价买房,现在5000多每平方米,哪买得起?是不是政府变相炒房呢?