我家有一块地,一块地长长下去,后面已经被我爷爷的弟弟的儿子搞了,但是他们没有房产证和土地证,只有我们

我家有一块地，一块地长长下去，后面已经被我爷爷的弟弟的儿子搞了，但是他们没有房产证和土地证，只有我们才有，之前同意他们搞房子在后面是因为说要给我爷爷多少万所以我爷爷才同意的，可是等到我爷爷都去世了也没给钱，现在我们经济条件好了想把前面还有空地也把房子搞起来却被他们家阻止说要退4米出来给他们，请问有什么解决方案。