我半个月前签了卖房中介合同,我们如果违约,真的需要支付20%吗?

你好,我半个月前签了卖房中介合同,价格太低现在我不想卖了,有个问题协商不了,当时签的时候,中介说定金3万,我们不卖了给买家6万,但是现在我们才看到合同上写的违约是房价20%,请问,我们如果违约,真的需要支付20%吗?就几天我就发现签的时候低于小区价格,我现在怎么尽力挽回损失