我买了一套房子本应是2019.6月交房,但房子都没开始建,对方告知房屋结构已变并且在几个月前就答应给我们退?

你好!我买了一套房子本应是2019.6月交房,但房子都没开始建,对方告知房屋结构已变。我们不同意。要求退房,对方要求我们把我这份合同及交款收据退他?这合理吗?并且在几个月前就答应给我们退,一拖再拖,现在要我们把合同和交款收据全部给他了才跟我们打款??????????