房屋买卖

我有一套独院想卖，前段时间有人要买并交了定金，可现在国家限制土地划拨，没法办房产过户（当时说好他自己办过户手续的），他又不想买了，这种情况下我要退还给他定金吗？