我家在农村,把房子重建,把原来的面积300多平方改造130平方,邻居都想占用,说是没我有审批

我家在农村,家在村中心,因本人不在家住在外打工,变成周围邻居的垃圾场,所以在2006年的时候把围墙围起来,没有经过审批,我没有超高在1米8,但在2015年我的老房面临倒闭,把房子重建,把原来的面积300多平方改造130平方,周围空间变大,邻居都想占用,说是没我有审批,我该在怎么办