违建阻碍合法房屋建设

邻居违建阻碍我家自建房建造,我家自建房在建设时,因为对方违建借我家自建房的墙,然后要求我们赔偿,在我家自建房建好后要帮对方违建恢复原貌,报建还没批就经常过来恐吓,请问我该怎么办,如何维护自己的合法权益