我家修房子,别人来闹事,我该怎么办。

我家新建房子，邻居跑过来阻拦，说地基是他们的，那里的地基一直都是我们的，要他们拿出证据，或者把当时分地的见证人叫来也不叫，就说那地不是我们的，我们挖，她就填，由于是妇女和老人，我们都不敢碰他们，他们这样严重干扰了我们的施工进度。请问她们的行为构成了什么？有没有违法，我应该找那些部门处理。