一个客户在我这定了一批货交了五万定金,我是贸易商就在市场生产地交些钱把

一个客户在我这定了一批货交了五万定金,我是贸易商就在市场生产地交些钱把货定下、第二天找了车准备装货,客户突然说不要了,还让退定金。我在市场交的钱人家不退、还耽误司机的事也赔人家一部分钱。我想知道这样的客户定金要不要退给他,都签了合同的。