我有一块土地和别人口头协议交換了二十年,可现在原地主反悔,还要要回土地,我可以不给他吗?

我有一块土地和别人口头协议交換了二十年,现在确权己经为我所有,已拿到确权证,可现在原地主反悔,还要要回土地,我可以不给他吗?