一块地已经换了三十多年了我们还建了自己的房子 然后翻新已经过政府批准了那换地的人有权说要回去吗那换地的人有权说要回去吗?

一块地已经换了三十多年了我们还建了自己的房子 然后翻新已经过政府批准了那换地的人有权说要回去吗?不不让我建房子还拆了我们刚搭好的地基。