只交首付没交定金退房时能扣定金吗

律师您好,8月底我买了一套房子,当时看上就交了4万块钱,包括38000块首付和2000块参加VIP优惠活动的钱,没交定金。后来我想把房子退了,开发商同意退款,但要扣我定金。请问开发商的做法合法吗?我有理由退回4万全款吗?感谢赐教。