04年买了别人一套二手房，买下房子后没有及时去公证处公证，当时只签下了纸质买卖说明，请问房产属于我吗

当时买房子的时候，因房子主人急需用钱又和我有点亲戚关系，买下时没有及时去公证处公证，只签下了纸质协议，一直拖到现在都没有去公证处公证。现在想去公证处将房产主人更改我的名字，由于房价上涨以前的主人后悔了，只愿退给我当时买下房子的钱，不愿与我去公证处将房产更改我的名下，我该怎么办？