二手房买房凑不齐首付,想解约,但合同上写的违约金是20%

您好，情况是这样的。我们2014年3月通过链家与卖方签订了二手房买卖合同，里头写着违约金20%，当时付给卖方5万。中介费已经全部支付。现在由于我们是换房，本来以为可以卖掉自己的房子，但是实在是卖不掉，凑不齐首付，可以要求解约吗？要承担多少费用？5万的定金？20%的违约金？违约金60万以上实在是赔不起。谢谢！