我买了一套有购房合同但是没有房产证的二手房,总价格45.4万先付了20万我该怎么办?

我买了一套有购房合同但是没有房产证的二手房,总价格45.4万先付了20万,签订了一份买卖协议,有一条这样写的剩余房款房产证办出后付清(买房接卖方的银行按揭款),当时前提是卖方口头承诺的把购房合同改成我的名字我才接他房贷,所以一直没接房贷,现在房价涨的厉害,卖方那边以我没还房贷为借口起诉我想解除合同,我该怎么办?