中介找了份工作不想去了他不肯退钱

本来跟中介讲好去某厂上班，第2天体检，第三天报道，但是天有不测风云，自己家的孩子本来是给我妈带的，可就在当天我妈由于难为炎开刀了，孩子没人带了，我只好不去工作了，但找中介叫他们退钱给我，他又不肯，说什么他已经跟厂说好了。请问各位大侠们，我这钱能退吗还？如果他不退，那我该找那个部门投诉？