租房提前退房,房东不退押金怎么办?

我10月底租房,合同一年,后来因为私人原因只住到1月29号就离开,房东同意(有提前通知)。现在房东让我们10月26号离开,因为他已经找好下一家,要住进来。我坚持29号退房,他则拒绝退押金。说我们违约在先。怎么办?