租房墙面油漆赔偿问题

我租了房东4年的房子，住进去时我们请人刷了墙漆，住的过程中由于房子本身墙体问题出现墙面发霉，房东说不处理，我们就拿了东西贴在上面。合约到期我们搬走，房东说我们贴的东西损坏了墙皮，他找人做油漆要3000多。这个钱要我们支付，这个合理吗？想问下既然是我自己刷的墙漆，即便我全刮掉是否也是合法（只是不合情）的？