当初就为拆迁有争执所以签了份协议,如若他日邻居家要再建新房高度离地面不得超出5米,我不知如何处理

我家是在农村,我和邻居家共同拥有一个村庄以前的牛棚,牛棚两层他家楼下我家楼上,当初就为拆迁有争执所以签了份协议,如若他日邻居家要再建新房高度离地面不得超出5米,如今他却违背协议要建几层的楼,我不知如何处理,求助!