买房首付交了但是贷款不过是谁的责任?

因为开发商拖延原因买房后贷款也过不了首付款交了21万多现在一年多了也没人管了要求开发商退款他们说我们违约要扣违约金4万多我该怎么办???