与中介签订合同后,不买房了,可以给中介终止合同吗

在中介买了一套房,给中介签订合同后,发现多收了几万元稅,这种情况下,我不想要房了,卖房者也同意退房,我准备和中介终止合同,违约合同后,还要向中介交违约金吗、