农村盖房子受别人破坏

房子在盖得过程中,邻居没有同意就偷偷将我的竹架拆了,事后找到他,他承认是他干的,说我们用了他的地(只有平)没付钱。说明:之前我们有和他签过字他也同意给我们地,一直给他钱也不收。现为了保证工程先高价付了款给他,但我不服我要如何处理。谢谢!