家里盖房子,邻居家把巷道给占用了,经协商,巷道我们家留部分,我们按照老宅的墙根盖房,如今动工了,他又

家里盖房子,邻居家把巷道给占用了,经协商,巷道我们家留部分,我们按照老宅的墙根盖房,如今动工了,他又来闹事,说自己让地了,必须我们继续多让地,那我们家老宅的地还要向里面移,实在令人恼火,我想问一下,现在我们决定盖房面积按照我们家的房屋土地占用面积的土地证,去盖房,我们不能再让他地了,这个该怎么解决?