邻里建房纠纷

我们有张协议书 上面白纸黑字写了建房条件，现在隔壁无视这张协议扩建了许多，这张协议上有村干部，我们以及隔壁签名。现在隔壁买通上面管事的人无视协议，请问该怎么办只能打官司了吗？我们还有隔壁之前的房子面积和之后的房子面积（明显多了许多）的照片