只有集体土地使用证能证明这房子是他的吗?

5年前借了别人的宅基地建了房子,集体土地使用证上登记的是他的名字,证件一直在我们手里,村里的房子都没办房产证,现在对方由于其他纠纷,就说这间房子是他的。请问:如果对方向法院起诉,我们双方各有多少胜算?只有集体土地使用证没有房产证能证明这间房子是他的吗?如果对方去挂失土地使用证是否可行?我们是不是要先去乡镇土管所去做个备案呢?