我家盖房有合法手续,在西北侧中间有4米道的一户人家,几次出来阻挠不让盖怎么办 什么都不影响他

我家盖房有合法手续,在我盖房的西侧邻居的前面还隔着4米道的一户人家,他家前面有道,这家是偶尔走几次后门的,按照法律什么都不影响他,我家只要一动工他家女人就出来阻挠不让盖就是无理取闹,我该怎么办?听说《他家法律口上有人》。还有在盖房前曾找法律事务所 签过一个合同 简单说就是我家盖房他不反对,谁要是反悔! 损失就谁来负!