我与邻居家共用一堵墙,后来邻居建房舍去大房子的板墙,前面板墙还用,现在我家建房与邻居协商将板墙拆出

我与邻居家共用一堵墙,后来邻居建房舍去大房子的板墙,前面板墙还用,现在我家建房与邻居协商将板墙拆出。邻居家不同意,说将墙保留。既然如此,凭啥他还占用前半部分墙。我家可否有权将墙放低一些,这样对两家都好。