二手房买卖定金合同纠纷

今年2月24日我与买方通过中介只签订了定金合同没鉴主合同、现在买方又不买了、还想要定金、我不给他就说不给房子也卖不出去、因合同上没写限期、当时不懂、只是中介口头说了跟买方办贷款、现在买方就以没有限期想托延、放赖了、我怎么办。