通过中介和买房签定了卖房协议,并收了定金,现在不想卖房了,怎么办?

在网上登了卖房信息,中介找到我,介绍了一个买主,双方在中介签了卖房协议,当时买方交给我一万元定金,中介扣押了我的房产证和土地证。合同上注明违约金20万。我签协议时房子未满2年。现在我不想买了。除了退保证金。我需要付违约金20万吗