通过中介购房最后没能成交中介要求留1000元手续费合理么?

我们通过中介联系到一套房子准备购买，房主要求一笔付清我们现在有资金缺口想要求暂缓或者分期卖方不同意，正好卖方那边有亲戚想要购买所以双方就说交易取消。当时中介替房主收了5000元定金没有签合同只给我收据，现在交易取消我们想要回定金中介说定金不全退他们要收1000元辛苦费。请问我该怎么办····