我做了一个买房贷款人的担保人,担保合同上写如果贷款人还不起款由担保人部

我做了一个买房贷款人的担保人，担保合同上写如果贷款人还不起款由担保人部负责。可贷款人赖着不交贷款，让我给交，我如何才能维护自身权益，才能解除担保，因为他没有任何资产，而我又套住房