但中介公司只付了4万给开发商,中介说我违约了不退,前题是我们双方还没签正式购房合同

尊敬的律师 : 您好!我订了一套住房,交了十万订金给中介公司,但中介公司只付了4万给开发商,我计划的是全款,由于特殊原因在我约定的时间内资金没付清,开发商要求我退房把4万订金退我,在中价公司的6万,中介说我违约了不退,前题是我们双方还没签正式购房合同,请问我这种情况怎么办?谢谢!