签合同时双方有约定如果不按时给房款,或不要房定金不退,过了几天他不想要了,是否有效?

我有一套房子已经网签了,但没下了房产证,我已卖了,我们签了买卖合同,他知道房子没房产证,他给了定金,签合同时双方有约定如果不按时给房款,或不要房定金不退,过了几天他不想要了,要求退还