深圳二手房合同,我是买家。合同备注了5月15号业主要收到所有款

深圳二手房合同，我是买家。合同备注了5月15号业主要收到所有款，否则合同取消没收我的定金。还备注了如果卖方违约，卖方赔付我们5万元。我们现在贷款承诺函早就出来了，业主迟迟不去过户怎么办，是不是拖到了5月20号责任就都在我们了？有其他办法么。