以前村子有块地一直没人,30年前就是大概1987前我家建了小屋子养猪,我该怎么处理这件事情?

以前村子有块地一直没人,30年前就是大概1987前我家建了小屋子养猪,后来就没养,就荒废在那里了。到现在我们家人都默认那个小费屋还是我们的,刚好今年有人在那小屋子旁边建房子,想动我们的小屋子,发生纠纷。但是我们手上都没有那间小屋子的任何资料,我该怎么处理这件事情。