房产所有权纠纷

我家是在农村,隔壁本来的房主是我父辈的亲戚,二十年前去上海把房子交给我爸留守,没留字据说明,走了。我爸把房子给别人住,这么多年下来,那家人不走了,还拆了房子重新盖了一座。现在找不到原来的房主,二十年没联系了。我想让那家强占房子的人走,该怎么办?