懂法律的帮我分析下应该怎么做12年前老家盖房子!现在地皮值钱了!现在要我们多给半亩地给他才两清

12年前需要交农业税！所以地没人种！然后就和别人换了块地盖房子！当时说好了一块换一块！也没写合同！但每个人的地的户名没更换！但都经过同意后就盖了！房产证什么都有！现在地值钱了！非要我们多给半亩地给他！要不他说他去起诉我们！说我们占有他们的土地！可是当时都是说好后村里才同意盖的！而且我证件齐全！不知道他起诉对我有影响吗！