夫妻双方用公积金贷款买房,但是还了一段时间后,男方突然换工作,而这个单位没有公积金了怎么办?

这种情况的话，是不是就只能扣我一个人的公积金了呀，也就是每个月我自己拿的现金就要多了，因为是一个人还贷了，男方突然没有公积金了，那我们算不算违约呀?