在房屋翻建时与前面人家签汀了一份协议,内容为房屋翻建后围墙原地恢复,我不退后可以吗?（来自安庆后围墙小区）

我原有围墙在房屋翻建已有,在房屋翻建时与前面人家签汀了一份协议,内容为房屋翻建后围墙原地恢复,后面为方便前面人家,另签了一份退后一米的协议,甴于.前面人家比较势利,我不退后可以吗?产权是我的。