我怎么样在房贷上去除名字

我是离异,当时离婚时候把房子和房贷判给男方了,但是因为房产证没下来所以房贷的名字和银行贷款都是我的,现在男方想要毁了我让我成为黑户,不交房贷我该怎么办?