曾经借祖屋给一个人A居住,而A去世后 由B(A的亲戚)管理遗物而拿走了

曾经借祖屋给一个人A居住,而A去世后 由B(A的亲戚)管理遗物而拿走了祖屋的钥匙,并且霸占祖屋多年。我父亲在此祖屋出生,随后在外六十年工作,回乡养老理应有此祖屋继承权,父亲要求B归还,而B一直不肯见面,一直回避,父亲和B没有此屋土地证明,但是有村中小组及同辈老人证明此屋确实应由我父亲继承的,请问如何处理?