我家遇到了一个无赖邻居,我家做了房子他不让粉外墙,算是怕了他把房子往前做了一米多想留空间出来粉外墙的

我家遇到了一个无赖邻居，我家做了房子他不让粉外墙，算是怕了他把房子往前做了一米多想留空间出来粉外墙的，谁知道这个人不让我们粉，他说这个我家空出的地方是他家的，叫当地政府解决他们也怕了他，现在的社会怎么这样啊？我不知道怎么办