前对象贷款买房,需要担保人,我给担保了,后来吹了,我如何解除或者更换担保人

以前我们好的时候,我啥也不懂他就说一个名字担保放款就没事了,后来因为感情不合,分了。问了下周围的人说这个担保有连带责任,影响我日后工作生活,我想问下该怎么办?或者如何解除担保人,是通过协议还是法律程序