单位集资房过户

20多年前,在同事的介绍下购买二手单位集资房,因为当时还没房产证所以只签署了一份房屋转让协议,没有公正只有签名,交款之后房主因为生病拒绝办理过户给我,之后房主死亡房产证就一直没有过户,现在房子我已经住了20年,房主丈夫继承房子后不承认这份房屋转让协议,拒绝过户给我,请问我可以拿回房子吗有什么办法吗