买二手房,交了定金,没签合同,发现交定金时中介隐瞒了五万税费,现税费太高,能解除定金协议,拿回定金

签定金协议时，房东隐瞒了大约五万的税，签合同前发现了这一问题，找中介，他们不承认，我们也没有充分证据。实际税费太高，不想买这个房子了，能不能取消定金协议，拿回定金？定金协议上对具体税费和由哪方缴纳并没有明确。