哥哥用我的名字按揭了一套房子,打房款办手续都是我的名字。他交了一些首付和房款,现在由于他个人经济危机

哥哥用我的名字按揭了一套房子,打房款办手续都是我的名字。他交了一些首付和房款,现在由于他个人经济危机,没事能力要这房子了,他现在不要这套房子了,说房子剩下的银行贷款五十几万让我打,房子归我。我怕以后他给我要他以前打房子的钱,我要不要和他去公证处写个协议公证一下?或者写个什么有效的协议?他以后要打官司能不能要回去这房子?