而他家的在上面已建房,他说会影响他上面的房屋,他不给挖,怎么办?

我想问一下,我家的土地与人家的土地有一个坎,而他家的在上面已建房,我现在要挖我下面的土地,他不给,他说会影响他上面的房屋,我挖我的土地也没错,他不给挖,怎么办?