买方违约，却要我退还定金

今年的四月上旬,我委托中介把我的房子转让了,并且签订了房屋买卖合同,买方也支付了我的定金,现在新的房产政策出来后,买方因为银行不能贷款要退房,并且要我退还定金,我该退吗?