我家的房子侧面要建围墙,邻居不让建,因为挡住了他家大门的光线

我家的房子侧面要建围墙,邻居不让建,因为挡住了他家大门的光线。后来建了一点,而且还被迫和他签了协议说围墙只能建1米左右。现在他家自己的围墙建了很高,我家就把当年有争议的围墙也建起来了,就是比他的低了30CM左右,不会影响他家的光线,可他就不同意,说非得按照协议来。请问我该怎么处理这个问题呢?