土地互换问题（来自菏泽宅基地小区）

我与邻居在2005年修宅基地时候,由于我的宅基地前面是他们家的地块,当时他不同意,我一气之下就拿自家的耕地和他交换,剩余的地我也和他换了,现在情况有了变化我不想和他换剩余的地了,当时只是口头约定,我现在该怎么做?