农村集体土地纠纷

我伯伯以前在农村有2间房子有集体土地使用证,后来在城市买了房子,户口转为非农户口,他2间房子我爸爸跟他协商,用另外2间跟他换,他也同意,没有写什么协议,就是互相换了土地证,没有过户,后来把我叔叔房子拆了重建了,过了几年后,我叔叔不承认这事情了,想拿回自己的土地使用权,我想问下这事情怎么处理