您好,我是买房的,遇到无良中介,他叫我先交钱,但是

您好，我是买房的，遇到无良中介，他叫我先交钱，但是什么事都没帮我办成，还拖了我几个月。现在我与卖方都考虑放弃房屋买卖。但是中介方却拿出合同说，不管我们怎么样他们的中介费不退。合同上也写着不退款，但是我是在不知道具体相关办事手法的基础上签订的。现在他们拿了钱又不办事，我可以通过法律途径要回我的中介费吗？