房地产买卖的违约赔偿问题?

我是卖房方,收了买方10000元定金。买卖合同中还写“违约方除了赔偿定金外,还要赔对方房款5%的赔偿金”!现在房价涨了,我不卖了,我说退回对方双倍定金即20000元了结。但对方说不只20000,要另给房款5%的赔偿金,我怎么办?不赔行吗?谢谢!