五保户房屋

请问律师.我现住的房屋的一部分是一个五保户的.五保户去世以后房屋归村所有的.我是在十几年前从村委买来的.没有什么凭证.但是村委把我的房屋产权和五保户房屋的产权合成一个产权了,现在在我的名下.请问现在五保户的亲戚想要回房子.请问怎么办??谢谢