交了2w定金,无定金协议,售楼部以我方不配合贷款为由拒绝退回定金,请问是否合法

本人于今年11月在南宁某售楼部想要购房,交了2w定金,只有收据,无定金协议,但是由于我方贷款条件不足,无法购房,售楼部以我方不配合贷款为由拒绝退回定金,请问是否合法,我方应如何去做。