房屋重建

我们村是村改社,村里面不让盖房子,让跟他们换楼房。把现在的地让出来盖楼房。但是现在我们不想换楼房。想把原来的房子从新改下可以吗?他们限制盖房子合法吗?