2004年我家拆迁造新房,然后我爸给我们两兄弟分开立户,现在我结婚生子想造自己的房子

我家两兄弟,2004年我家拆迁造新房,然后我爸给我们两兄弟分开立户,但是房子只有三间,现在我结婚生子想造自己的房子,村里说我家平房要拆掉一点才能造,门前两个车库,后面40平的生产用房,还有两层的小房都要拆了,我才能造,请问合理吗?当时是合法合理的造,现在我要造自己的房子,村里说必须拆了才给我地基造房子,是否合理,