关于买房退款问题

最近我在城阳银盛泰买了房子,定金首付已交,因为自己的征信有问题,后来银行贷款被拒。当时售楼处未提醒我要看征信报告,只着急让我交首付,现在没有办法了,只能退房。他们说是我的原因要交20%的违约金,而且定金,公维金,契税不退。我手里没有合同,没签正式合同,他们说合同就算签了。现在我想知道他们退的钱合理吗?