购买二手房,房东到合同截止日期不搬走,中介不管,应如何处理?中介费谁来承担?

10月初与中介、卖方签订合同，约定11月31日卖方搬走，我们入住，现在卖家以全款还未到账为由，不理合同拒绝搬走，中介不管。由于卖方已违约，合同只规定了搬走的时间是11月31日，并未写明需全款到账才搬走，鉴于卖方和中介的态度，以及卖家不理会合约的野蛮行为，现在我们不想买这套房了，但是中介不退中介费，我们应该怎么办？