关于意向金退还问题

你好，我在1月中旬交给中介经纪人意向金，现在因为很多问题，房屋已经无法达成合同签定条件，所以要求中介马上退还意向金。但是，现在中介以现在联系不上具体办事的那个人为由，说，要等到这个人回公司上班以后才能返还我的意向金。我觉得这个的处理是不对的。