二手房买方违约

我买二手房我10.4日给买方5000定金，并给中介写了20000欠条，签了合同我10.5日认定校区物业不好，决定退房，中介要收我的中介费12000元，在一天内并没有办理任何事物，这样合理吗，定金可否要回来。