我的房子卖了,已方跟我签了购买合同,并且交了5万定金请问我应该归还吗?

你好,律师,咨询一下,我的房子卖了,已方跟我签了购买合同,并且交了5万定金,合同上写的15-20号予以过户,并且将房款付于我,因为他们购房人未能在合同规定时间内按时回来过户,现已过合同规定时间,也未付房款。又说不要购买我的房子了,还要求退还他定金?请问我应该归还吗?