怎样做能退回定金不违约

我通过中介买了顶账房约定契税我交当时说的是按首套房计算的只交了定金没签合同。卖房的不是首套房我不想买了定金能要回来吗?要付中介费吗?算不算违约如果卖房的不推定金我可以拖延时间付款吗我们只是口头约定最早7头没说最晚