村里土地问题纠结

女方98年分地把地收回，婆家98年未分地，至今两方都没有土地。应该跟哪方要地？某人99年把地口头退给大队以后大队把地分给我们，我们交的公粮，国家补贴的钱也是打我家卡上。现在某人想要回地，因为当时是口头退地，他手里面有土地承包合同证书。问我们这地应不应该退还给他。