第一套房子还有二十万贷款没有还清,我第二套房子百分之二十首付可以买,我不买了

今年十月我买第二套一手房,第一套房子还有二十万贷款没有还清,售楼处说,我第二套房子百分之二十首付可以买,首付后一个月告诉我贷款办不下来,原因是银行政策变了,需要再交百分之十,我不买了,要求退首付 让我交违约金,我想知道,这是售楼处违约还是我违约?现在已经两个多月过去了,银行和售楼处搁置我这件事,我该怎么办?