请问我通过中介出售了一套二手房,想和他解除购房协议,应该怎么办,定金还用退吗

请问我通过中介出售了一套二手房,定金交了1万,合同签了,到了约定的过户日期买方贷款没办下来,我着急卖房,想和他解除购房协议,他一直拖着,应该怎么办,定金还用退吗