用房子共同抵押贷款,现在未到期,共同借款人要求提前偿还,可以不提前还款吗?

我们在06年离婚，协议把房子给了男方，10年时急需用钱，男方同意共同抵押10年，现在没有到期，没有能力提前偿还，他一直崔让提前还款，贷款的钱一直伙在用，贷款的所有费用我也一直在偿还，就是没有能力提前还款，他现在经常威胁要起诉我，我想咨询下，我可以不提前还款吗？