贷款人与签合同人不是一人,现在卖方人要以此毁约。

我父亲和对方签的房屋买卖居间合同，因为我工作忙，所以全权委托我父亲办理，然后我是公积金贷款，现在要到公积金处办理面签了，但是卖房人反悔，说卖低了，现在已和签合同的人和贷款人不是一个人为由。我已经交了首付现金给他了。