帮别人担保贷款5万,贷款下来了,用了2万还3万在卡里,贷款人

帮别人担保贷款5万，贷款下来了，用了2万还3万在卡里，贷款人把卡丢了现在属于补卡阶段，3万元被冻结，我不想担保了，请问我可以撤保吗？贷款钱到卡上不到一个月时间我可以用什么办法不担保呢？可以直接到银行撤销担保吗？