24年前用老屋的宅基地互换一块地建了房,老屋的地互换后当年他就做为耕地使用至今,当时只有口头协议,2

24年前用老屋的宅基地互换一块地建了房，老屋的地互换后当年他就做为耕地使用至今，当时只有口头协议，24年中他家人从未有过异议，对方当事人过世好几年了，今年我在换来的宅基地上翻新修房，他的孩子现在百般的阻拦和破坏，搞的我无法施工，还说要把土地要回去，请问律师我该怎么办？谢谢！