贫困户旧房翻新,邻居家在我们旧房拆除后霸占我们土地不予我们重建,我们有房屋证且有拆除前的照片这该怎么办?

贫困户旧房翻新,邻居家在我们旧房拆除后霸占我们土地不予我们重建,我们有房屋证且有拆除前的照片。经镇司法部门达成协议,但过后邻居家又反悔不准我们动工。这该怎么办