买房子中介费涨价导致房子不能正常过户

我们前几天买一套房子，中介费谈好是一个点，后面和房东交了定金，后面要签买卖合同的时候，中介要我们付2个点的中介费。我们不同意付，所以买卖合同签不了，后面应该如何维权。