我想把这面墙建上,我买房时写的有买卖文书,可我现在给让到一尺四了还说我占他家地方了

律师您好,我的现住房是16年前买的,我与东邻之间没有墙,按我们当地这面墙应该是他家建,可他家到现在也没建,今年我想把这面墙建上,可他家不让建,说我占他家地方了,我买房时写的有买卖文书,他家那边是七寸,可我现在给让到一尺四了还说我占他家地方了,请问我这事该怎么办?