如何退还卖家违约以后卖家的中介费

您好,律诗,我是2016年3月20号通过一家中介公司买了一套二手房,期间办理过程中,因房价飞涨卖主违约,几经周折我得到了定金两倍的违约金,后来一直继续通过这家中介公司要买房子,到目前为止中介公司的态度十分冷淡,由于房价过高我已经没有买房子的打算了,现要求中介公司退还当初的中介费,可是中介公司告知我中介费不能退,我觉得自己得到了不公正的对待,所以请问问您有什么好的方法可以解决这件事,现在是2017年9月了,时间是不是太长对我不利啊,向您咨询这件事,谢谢您 收起