房屋扩建(需向农田后退受邻居阻止)的使用权咨询

我是湖南新化县差溪镇石坪村的一个普通农民,性别,男,今年39岁 我想咨询一下，个人农田(土地)的使用权（建房受到邻居的阻止，限制我们建房不许超过他家大院门前的他(邻居)所说的界线之外）原本农田是我们的，由于我父亲（已过世）那个时候穷，没有为我们三兄弟(留下)建一个大一点的房子，只够之前我们一家5口人居住，可是现在我们三兄弟都已经成家了，住的（房屋）地完全不够用，所以今年我们三兄弟一起商量好要把之前父亲建的(老房子)拆掉重建一个大点的房屋，可是之前父亲建的房按风水师(我们地方风水)来说，要原地后退5米以上才能对我们有利，可是当我们把房拆掉了之后,按照风水师的把地基线放好后，就遭到了隔壁他”邻居””的阻止，限制我们后退不许超过（他所说的一道界线）。当时我们不在家,我们是全权委托大哥一个人在家主管家事，没有跟他(邻居)争吵,,由此,在我心理难受，不得不寻求法律咨询！请您指教与分析。谢谢！ 收起