我去年4月底租的房子,租期一年,但是从12月开始房

我去年4月底租的房子，租期一年，但是从12月开始房屋开始发霉，很严重，跟房东反应过，但是他在外地没法回来看，说这个没关系，我们也不是故意让房屋发霉～后来房东准备把房子卖掉，总有中介带人去看房，家里有小宝宝，非常不方便，但是也让看了，后来我们跟房东说提前一个月退房，他也同意了，现在准备跟他交房，又说我们把房子住发霉了让我们处理，不然就他自己找人，然后从我们押金里扣～房屋发霉租户有没有责任呀？我们就是一家四口正常住，而且也和他反应过这个问题。都不知道怎么回事，中介也不厌其烦的看房，实在住不下去了，现在看他的意思就是不想退钱 收起