签了2个月的租房合同,提出退房,要求扣除违约金,可是我们并不是故意要违约的,要求赔偿违约金

您好,签了2个月的租房合同,一共住了14天,其中5天没有水,房东开始是推脱修地铁水压低,后来等到第五天时,实在忍受不了,提出退房,房东也同意了,但是两天后退押金时,说我们违约,要求扣除违约金,可是我们并不是故意要违约的,现在他咬着合同不放,要求赔偿违约金,如何解决。