我是卖房方,经中介与买房方签订了购房居间协议,收了两万定金,这个应该退吗?

你好律师,我是卖房方,经中介与买房方签订了购房居间协议,收了两万定金,约定十个工作日内,买房方付首付款,可是到应该付首付款的最后一天,买房方突然提出不买了,并且要求退定金,我没有退,他说走法律程序,这个应该退吗?是买方违约