中介说只要没签购房合同前,都没问买家要出多少钱买,现在他不退订金

买二手房,交了一万元订金,中介说只要没签购房合同前,只要交易不成钱都可以退,我们刚去看了房,晚上八点去看的房子,说可以考虑一下,中介晚上十一点半发信息说跟房主谈好价钱了,都没问买家要出多少钱买,中介自己做决定把一万订金交了,关键是他谈的价格买家根本不同意也不知情,现在他不退订金,该怎么办?