农村盖自建房产生纠纷

我想咨询下,我是在农村盖自建房的。是用我家的农田跟别的生产组置换的农田做宅基地,双方协商后已经置换成功,现在对方同一生产组的一个组员他家的一块农田在我新建房屋的门口马路对面。现在去我家说也要我把他的农田给换下来。理由是我家养的畜生遭害了他的庄稼。我老的房屋一直在他农田边上的。并且把土地办和建设办的人都找过来了,在土地办的手续我都办齐了,但是建设办的一个工作人员说他没签字,在我老家别人建房都不需要去建设办签字的。我想问的是农村自建房需要去建设办签字吗?另外对方的那个组员有理由不让我建房吗?谢谢! 收起