房后有一块公共用地,面积挺大的,空地对面的邻居今年

房后有一块公共用地，面积挺大的，空地对面的邻居今年把房子卖了，然后新房主盖的楼房面积超出了原面积，我家担心新房主会得寸进尺，霸占整个地方，就自己围了一些地方作为出路，新房主让我们拆了，我们后来也签了协议，但是他在协议上写不具有法律效应，而且在晚上强行拆除了院子围栏，现在应该怎样解决？