退租房押金问题

我租的房子在今年五月二十八就到期了,现在我不租了,可是房子因为质量差出现了一条裂缝,还有墙角受潮出现了掉灰的现象,并不是我人为的,房东现在现在以房子损坏为由要我维修,否则不退押金给我,我该怎么办?