给指标费让他人帮买经济适用房，房没买得，对方一直不退钱怎么办？（来自葫芦岛经济适用房小区）

跟个人签了份委托协议，委托他通过关系帮要一套经济适用房，已给了他指标费10万元，办理期限是30个工作日，现在办理期限已经过了好几个月了，他一直不愿意退回指标费，问得急了他就几天不接电话。请问这种情况下我要通过什么途径才能要回我的钱？