91年有一户房屋让大水冲倒了,政府重新归划了一处宅基地并且给盖了房。他把原有的一切建筑物都拆走了现在有权往回要吗?

91年有一户房屋让大水冲倒了,政府重新归划了一处宅基地并且给盖了房。他把原有的一切建筑物都拆走了,包括围墙的石头。94年的时候我把这里又用石头围了起来,也通过村上口头许可。在交农业税的时候也交钱了。并且他家也知道我用。现在有权往回要吗?