我的邻居是旧房翻建,在翻建之前,他找签字,经过协商他答应这个说法对吗?

你好,我想咨询一下,我的邻居是旧房翻建,在翻建之前,他找签字,经过协商他答应,在我的房屋和他的新房之间让给我3米的距离,给我停车。现在房屋建好了,他就毁约了。当时的书面约定是这样的,【离我建筑物3米方可建墙】,他现在就说,就是让你3米,这3米的使用权还是他的,我是不能停车的。你说,这个说法对吗。