我的房子委托中介公司卖的,买方先交了5万定金,现在中介公司拿着呢这种情况中介费应该从这5万的定金里面扣吗?

您好,我的房子委托中介公司卖的,买方先交了5万定金,现在中介公司拿着呢,并签有合同,买方需要在45日之内向我交款,可是现在期限已经到了了,买方还没凑够钱,本来中介说好的买方如果违约,5万块钱就是给我赔付的违约金,可是现在中介公司说他们要扣除他们的中介费,这种情况中介费应该从这5万的定金里面扣吗?