我在嘉兴买了一套房子,付了一层首付,签了草签,没有备案,现在因为自身原因想退叫他降低吗?

我在嘉兴买了一套房子,付了一层首付,签了草签,没有备案,现在因为自身原因想退,他要百分之二十的违约金,但是他自身没有那么大的损失,房子现在已经涨了,请问我可以上诉他,违约金过高,叫他降低吗?