与中介签订的独家卖房协议

我跟中介签订了一份房屋出售委托代理合同，时间半年，过去一个月我发现中介带来的客户并不多，而且我还只能把别处看房的人拒之门外，严重影响我售房的效率，所以我现在想缩短独家代理的时间，与他们协商不妥，请问这种情况我要支付违约金吗？（合同上约束如果因甲方原因使合同终止或无效要支付违约金2.4%）