自家建的房有40年了,有当时乡政府发的证件。现在别人说是他家的地可能吗?

你好!我家78年时拿自留地与村委换了块建房地,79年经村委同意的情况下建的房,82年统一办证87年发的证。现在快40年了,斜对面的邻说我家的那块地是他的。这能算是他家的吗?