关于婚后房贷还款的纠纷

我们有套商品房,协议离婚后房子给了男方,协议上也写明了房贷款之后都由男方支付与女方无关,但是男方长时间未付房贷,银行就直接从女方账户上进行了扣款,请问应该怎样处理?