土地被霸占怎么办?土地确权不了

他家把墙砌在我家地里,中间签过一个调节协议,我家把地送给他家了,但是他家还在往我家侵占,想问下我可以把原来的协议作废,要回土地吗?