二手房定金

我是买方 卖方产权人是智残 与其监护人和卖方签过居间协议并付2W定金 但在签订二手房买卖交易前我要求房产去法院确权或公正监护 但是卖方不肯说有当地居委会证明就行 我怕交易房产后有后续纠纷 现在能提出解除协议并拿回押金吗？谢谢