关于建房邻居阻拦并要求赔偿的问题

我家在盖房，一共10米宽。用了9.98，之前邻居没说什么。盖了两层。邻居硬是说说占了他家地方（中间的一层8cm高的隔板貌似在空中超了2公分）。村里来量了一下。.他家跟我我家临界的地方本来是公家的路20公分。他把房子盖到公共用地上面。但现在整天就来拦着不让我家盖。昨天晚上还把我们正在盖的房子上面的横梁推了下来。我们让村里调解。村里说和气最重要。（家里的地存根丢了。村里也没有记录。但是整个村都知道这块地是我们家的。）准备给邻居一点钱。结果他说要好几万。。。。我们应该怎么办？求具体回答。 收起