二手房买方违约,违约金(定金)在中介处,但中介不给我

二手房买卖，我是卖家，通过新环境中介签了房屋买卖合同，买方交了2万的定金，中介收了，并写了一张收条给我。后来买方通过中介告诉我不买我的房子，但不愿出违约金（即定金2万），中介说要买卖双方走法律途径。那我是应该告中介还是告买方？一般这种案子多久能搞定，找律师代理的话我还需要出面么？谢谢！