我是2006年与人兑换地皮,当时对方有一块地皮在我现在建房的前面没有和我兑换,请问我该怎么办?

你好!我是2006年与人兑换地皮,2007年建好房的,当时对方有一块地皮在我现在建房的前面没有和我兑换,这么多年对方都没有异议,现在突然以我建的房子占了他的地皮为由打烂了我的墙,请问我该怎么办?