本人有一自留地一直使用50于年,现由扶贫建房想用,当以前的业主说山是他的请问他有权收回吗?

本人有一自留地一直使用50于年,现由扶贫建房想用,当以前的业主说山是他的,只是给我父母使用了而已,现他要收回,请问他有权收回吗?,我该怎么走正当程序维权。