贷款利息会不会增加?

你好，请问一下 2009年以婚姻为单位贷款买了一套房，当时女方是户主2013年协议离婚后把这套房产协议给了女方，之后男方又买了一套房，因为查征信男方名下没房产。银行贷款是第一套房贷款，贷款已经发放。但交契税的时候让以第二套房交4%，如果交4%的话，贷款会不会收回或利息会不会增加？