三年前的购房协议。现在对方想要违约

三年前房子贵点对方买的。现在房子降价了，对方说以现在的房价当时的房价太贵不肯支付余款。 对方想要违约，不买房子想请教下。对方只用支付违约金吗？