交了购房定金,违约想要回总房款有什么办法吗?

前几天签署一个购房合同,现在不想买房子了,想退回房款,房款在居间方手里监管,还没到正式交给房主的那步。现在打算服从违约,违约金是定金的金额(两万元,其中包括支付居间费和违约金) 我现在想要回总房款,有什么办法呢?