房屋中介不退租金怎么办?

在小红门租住的一个房子，房租未到期，但是和中介协商同意退房，结果过了几天他们说违约扣除两个月房租押金，当时中介说房子升值，涨价了，后来过了几天就说到违约的事情了。