家里要建房,后面的邻居不让

我家在南通市海安县。因为家里的房子实属危房,就向当地的土管局申请了建房报告。现在建房报告拿到了,但是后面的邻居实属蛮不讲理,讲不出理由还不让我家建房,老在捣乱。想请问一下该通过什么途径来解决这件事?