离婚引起的房产纠纷

请问我与前夫离婚后，房子归他，债务也归他，但是房子的主贷人是我，按揭贷款也是我的卡，他在还。虽然房产证上有我的名字，但是这样我就一直有一套房在头上，再买房子的话就是二套房，我是外地户口，二套房就不能再买了。我私下与他协商过，希望他能尽快处理贷款，但他一直处于拖沓状态，我该怎么办？