关于非夫妻关系房产共有人其中一方退出的问题

我们是离婚前买的房子,离婚时离婚协议写的房子归男方,后面我又出了房子一半的钱给男方,产权证是两个人的名字产权共有,(注:原来有贷款,已经还清了)现在男方想把产权过户到我的名下,请问我们要怎么做