交给中介定金了,中介说我们不卖房子的话就要双倍退还定金,咨询一下这样合法吗?

你好,我的房子在中介那有人看好了,交给中介定金了,但是我们房子不卖了,中介说我们不卖房子的话就要双倍退还定金,咨询一下这样合法吗?