银行按揭不通过，交了首付，说综合评分不通过，能退房吗？

合同补充协议写着贷款不下来转一次性付清，可是没那么多钱啊，可以退吗？违约金是总房价的20%，可是这个综合评分不通过算是我个人的原因吗？这样退房算不算违约？能不能退回的首付？