房屋买卖合同定金未支付全

我是卖房。约定9月12日交付定金100万,目前只收到15万。合同其中有一条说,如果合同继续履行,要等到15个工作日,卖方才可以单方面解除合同。请问,定金交付日期已经过了,我可以不卖给她了吗?但是还不到15个工作日,是不是不能单方面解除?买方说要现在解除,要求退给她5万定金,否则就不解除。