我能够不支付余下的一部分中介费吗?能够把之前已经付给中介的费用追回一部分吗?

2008年年底,经中介介绍,我看中了一套2手房,然后给业主付了一万元定金,中介费也付了一半,并支付了其它一些费用。现在业主因为某种原因,不想卖房了,想把定金退给我。我也实在是没办法,只能表示同意。但现在这个中介不旦不把中介费退一部分给我,反而向我追加另一部分中介费。