现在已经离婚,协议离婚,按揭的房子,因为按揭还是两个人的名字

现在已经离婚，协议离婚，按揭的房子，因为按揭还是两个人的名字，没有更改，但协议是房子归我，贷款我还，其余一切债务由他归还，离婚前我就知道他在外面贷的正大财富的款，但是没用在夫妻共同生活上，现在正大财富有权利动我的房子吗？