我三月二十四日签订卖房合同,收了五万订金,但没签订付款时间,现在我催收款项订金怎么处理?

我三月二十四日签订卖房合同,收了五万订金,但没签订付款时间,现在我催收款项,对方以流水不足办不了贷款为由拖着我付首期,我现在要中介追补充协议确定付款时间,中介也只是说协商,如果对方一直拖着,我可以单方面解除合同吗,要走什么程序,订金怎么处理。