1999年我和一个队上的人换地,他实地2.99亩和我3.25亩土地交换

1999年我和一个队上的人换地，他实地2.99亩和我3.25亩土地交换，并当时答应我欠我0.26亩，及时给我调整，并承诺再多给我0.6亩土地。他在互换我的土地上违法盖上了住房，我多次找到他，要求其返还我的0.26亩，但他拒绝返还。当时双方只是口头协议，现在大队给我们发了合同书，我想问一下这件事应该怎么来调解才合理？ 谢谢