纠纷原由就是我在十年前买了一套房当时买的时候房子五米外有围墙围着的我买的时候卖主说围墙内的都是他的我也就一起买了现在有人告我说围墙内有他的土地他说要我赔偿但是现在我都把五米处都建好了房子现在

纠纷原由就是我在十年前买了一套房当时买的时候房子五米外有围墙围着的我买的时候卖主说围墙内的都是他的我也就一起买了现在有人告我说围墙内有他的土地他说要我赔偿但是现在我都把五米处都建好了房子现在而且在建的过程中他也没有阻拦过现在我该怎么处理求各位帮忙一下谢谢。