该去法院起诉吗?

我通过中介跟卖家签订了一份二手房购房意向合同,卖方为三口之家家庭共有房产(一对老夫妻加上一个成年女儿,有三本房产证),有委托书,所有的证件都由中介帮忙审查的,跟我签订意向合同的是妻子。事后,我才知道那委托书是他们已远嫁国外的女儿委托父亲的,并不是另外房产共有人委托跟我签订合同的除了中介外的当事人出售房子。也正因为如此,在另外房产共有人未行使追认权之前,我以书面的形式向对方份发份撤销函,并要求退回定金。现在中介也没调解个结果出来,收了定金的卖家不肯退钱,我该怎么为自己维权?去法院起诉吗? 收起