二月初我买了一套房,首付已经都拿了,当时写合同的时候违约金是23万,可是他不想拿违约金

你好,二月初我买了一套房,首付已经都拿了,可是到现在还没过户,卖家突然不想卖了,当时写合同的时候违约金是23万,可是他不想拿违约金,我该怎么办?请指点,谢谢。