我与X司签了一份协议,现在审批已经过了,还没有去面签,现在觉得利息有点高不想要了这个违约金真的需要支付中介公司吗?

我与X公司签了一份协议,现在审批已经过了,还没有去面签,现在觉得利息有点高不想要了,可又与中介公司签有协议,现在中介公司说我违约,单方面终止合同要我付违约金,这个违约金真的需要支付中介公司吗