买家不肯迁户口,导致银行不能放贷款,责任由谁来付?

由于银行放贷时间较长,买家和我们签订了一份补充协议,限定我们10月8日前如果贷款不到他们账户里,就要求我们以现款方式结清。否则就以我们违约处理。现在银行已经能够放款了,但银行放款前提是要买家先迁走户口。可是现在买家不肯迁走。因此而引发的房款不能及时到位的责任将由谁来承担呢?我们能用什么办法来保护自己呢?