租房纠纷,打隔断不退我租金

我租了一套住房,现在知道是个人通过中介租的 之后再租给我们,现在他们要在我们住的房子客厅打隔断,我们不同意,要求退房租,我们搬出去,他们同意,还手写了份协议,8月23之前退房子,但是现在又无赖,说不管。我们是否可以起诉,或者其他解决途径。