我单位2013年租用某处房屋用作营业网点,租期为10年,并且房主收取押

我单位2013年租用某处房屋用作营业网点,租期为10年,并且房主收取押金9万5千元整,现由于市政府搬迁到邻市,我单位在总部的统一规划也要撤离搬迁到邻市,因此我单位决定撤销该处营业网点,提前结束租赁合同,现在房东同意结束合同,但不退回9.5万元的押金,我想咨询是否合法?