房产首付退款违约金问题

上个月准备购买一处公寓,买之前担心征信贷不了款所以先咨询售楼部的人,征信也给他们看了,当时说可以办,所以就凑齐首付款,月底办贷款银行因征信问题拒贷,现在我想要退房,申请退款还需要违约金吗?当时口头问的征信问题所以并没有约定因征信导致的违约金问题。