我在2011年8月23日经过中介买了套公房,付了2000中介费,依照当时的法规过不了户,所以一直没过

我在2011年8月23日经过中介买了套公房，付了2000中介费，依照当时的法规过不了户，所以一直没过户。因为当时一次付清了了购房全款65000元，于是我装修了该房然后进去居住。在2015年6月7日，听说卖方得知可能公房会转成私房，每平米只交800元，如果变成私房再变卖可以赚约10万。于是卖方要求退房退款，但只退还我65000元购房款，装修费不退，中介费不退，我给卖方的那些钱的这46个月的利息也不退。理由是我住了有46个月，按收房租算有18000元，可以抵扣了我25000多元的装修费和2000元的中介费。于是我和家人都不同意，说可以彼此让一步，要求卖方退回75000元，然后合同解除，我买方立即搬离出该房。卖方坚决不同意，只愿意退回65000元。请律师帮我们看看这事情该怎么办 收起