卖房签了合同,在合同期内协商先把首付款提前给卖家2-3万,但是买家不同意,结果卖方一气之下就说不卖了

卖房签了合同,在合同期内协商先把首付款提前给卖家2-3万,但是买家不同意,结果卖方一气之下就说不卖了还被买方录了音,但是2天后卖方还是想卖,买家确不想买了还要卖方承担违约金,请问这个是不是卖方的责任?卖方该不该出这笔违约金。