我在中介租的隔断房,政府给拆了,然后我想退房,中介不给退,说

我在中介租的楼房隔断房,刚租半个月,然后政府给拆了,然后我想退房,中介说退房就按我们违约处理,但是要是继续租下去,中介找人给我们立隔断,但是得我们自己出钱,现在我想退房,我是不是可以要回我的押金,并且不算我违约