土地置换问题

十年前，我用半亩地换了他路边半亩地盖房，然后再给了他一些钱作为赔付他地上作物---果树。我换得他的半亩地，他提出不要继续让我种着，我们当时通过中间人写了个协议：“换给他的半亩地由我承包到国家调整土地为止。”可是到如今，他突然提出要承包费，我该怎么办？