与人签订了居间协议和房屋买卖合同。居间合同说明,是否除了赔下家双倍定金,不还我房产证怎么办?

您好。我本想卖房,与人签订了居间协议和房屋买卖合同。并未正式网签。收了五万定金。现在不想卖了。居间合同说明,只要签订房屋买卖合同就算居间成功,违约方需要支付中介费。请问我是否除了赔下家双倍定金,是否真的要赔中介费?我的房产证放在中介那里,不付中介费,不还我房产证怎么办?