我想买一个房子,见到卖房当天才知道卖房子的人是委托公证的代理人,而不是原房主怎么办?

我想买一个房子,见到卖房当天才知道卖房子的人是委托公证的代理人,而不是原房主,她只是替房主销售,而后中介说任何影响都没有,我于是就交了两万元定金。后来知道了公证关系的好多银行不给予受理贷款,中介非要通过违规贷款等私下方式给我们贷款,我们怕影响个人信用、社会公职等拒绝,然后中介和卖房拒绝退换定金,怎么办?