关于买房退款问题

最近我在城阳银盛泰买了房子，定金首付已交，因为自己的征信有问题，后来银行贷款被拒。当时售楼处未提醒我要看征信报告，只着急让我交首付，现在没有办法了，只能退房。他们说是我的原因要交20%的违约金，而且定金，公维金，契税不退。我手里没有合同，没签正式合同，他们说合同就算签了。现在我想知道他们退的钱合理吗？