二手房买房凑不齐首付,想解约,但合同上写的违约金是20%

您好,情况是这样的。我们2014年3月通过链家与卖方签订了二手房买卖合同,里头写着违约金20%,当时付给卖方5万。中介费已经全部支付。现在由于我们是换房,本来以为可以卖掉自己的房子,但是实在是卖不掉,凑不齐首付,可以要求解约吗?要承担多少费用?5万的定金?20%的违约金?违约金60万以上实在是赔不起。谢谢!