和中介签订的意向金过了时间不给退怎么办有合同

我在中介看好了一个房子，中介让我签了意向金协议，可时间过了还没接到书面通知，我就让中介给我退钱，可中介说我已给你谈好了要再等几天，房东在外地，我不同意，我可以要求退还意向金吗，有权不要这个房子了吗，我和中介有合同，要是给我谈好了房子要给我下书面通知，我没接到过任何书面通知。