我想退房该怎么处理?中介不退中介费、退房违约是房子的原因不是我们个人原因呀?我们该付违约金吗

我租了一套房、还没搬进去就发现上一家用来养狗了家具等等随处都是狗毛、特脏、我对这东西过敏、我想退房该怎么处理?房东说我违约、中介不退