农村集体土地使用权纠纷

我伯伯以前在农村有2间房子有集体土地使用证，后来在城市买了房子，户口转为非农户口，他2间房子我爸爸跟他协商，用另外2间跟他换，他也同意，没有写什么协议，就是互相换了土地证，没有过户，后来把我叔叔房子拆了重建了，过了几年后，我叔叔不承认这事情了，想拿回自己的土地使用权，我想问下这事情怎么处理