但是最后买房那边又不买了,现在我不给中介退这一万,中介说让买房的起诉我,我们应该怎么办?

我们卖房是通过中介公司,中间由于我们卖房的原因不打算卖房了,但是买房那边不依不饶的,我们只能卖,但是最后买房那边又不买了,签