在农村扩建房屋,但是有人议论。我家土地在别人的房屋后面,但是他要求我们和他们换地

在农村扩建房屋,但是有人议论。我家土地在别人的房屋后面,但是他要求我们和他们换地,原因就是他说后年,他们也要扩建房屋