卖房方签合同时，没有指定贷款银行，现在卖方想让去建行办，放款快；但是去招行办对我们有利

我和卖房方签合同时，没有指定贷款银行，现在卖方想让我去建行办，放款快；但是去招行办对我们有利，所以我坚持去招行。现在如果约定时间我直接去招行监管资金的话，如果业主不到，是不是可以算他违约，要赔我违约金？