关于房屋中介合同违约问题的新问题

我是卖房人,在中介签订了房屋中介买卖合同,合同约定一定期限内要付首付款给我,但到期后买方并未按时付给我,我这时又嫌房子卖便宜了,不想再卖了,请问这时撤消合同,谁要承担违约责任?如果是对方违约在先,定金要退给对方吗?