收取意向金是否合理

我看了一套房子,与二手房协商后二手房公司让我交5000元意向金然后去与房主谈,约定时间两天即21日22日两天,二手房公司两天之内没有谈妥到了23日我去要回意向金时,告知已经于房主谈妥要26日{星期一}房主回来后再说但我不想要了,我有权要求退还意向金吗?