建房申请书上邻居已经签字然后又反悔怎么办?

我家写建房申请时让邻居签字他已经签过了现在又到土管局和城建局去告我说要给他在我家的范围里让一米距离给他不然他继续告我。