签署一个购房合同,违约金是定金的金额(两万元,其中包括支付居间费和违约金)我现在想要回房款55万

签署一个购房合同,现在不想买房子了,想退房款,房款在中介手里监管,还没正式倒交给房主的那步。现在打算服从违约,违约金是定金的金额(两万元,其中包括支付居间费和违约金) 我现在想要回房款55万,有什么办法呢?