农村的房产是我的,因长年在外不住,给另外一个村上的人住了20年这种情况应该怎么办?

我想咨询,农村的房产是我的,因长年在外不住,给另外一个村上的人住了20年,当时像征性付了几千元钱,现在我想回乡下养老,但对方坚决不肯搬出,还说他住了这么多年,是事实使用人,这种情况应该怎么办?