我用房产抵押贷款,贷款理由是装修用款,用第三方账户收到贷款后

我用房产抵押贷款,贷款理由是装修用款,用第三方账户收到贷款后,转回自己账户,资金没有使用完。我按月正常还贷。银行以资金回流为理由要求提前偿还贷款,是否合法?我是否可以拒绝提前还款?