租房容易退房难

租期1年的房子,一次性付款,另抵押1个月的房租,因工作原因,只租住了4个月,退房时中介要扣除2个月的房租作为违约金,合同上规定是乙方违约要将押金转为违约金,如不能弥补中介损失要补齐,中介还要求先将钥匙、合同、收据交还,才可以办理手续退钱,且中介一直拖延时间,不予结算!我该怎么办?