小产权房怎么退款?

我家买了村子里私人自建房其中一层，卖方说有50年的产权，能拿房产证。后面了解到这种房子属于小产权房，风险很大。但是我们和卖家有见证书。见证书上违约方违约要付20%的全额房价违约金。我们私下说付10%的违约金。卖家都不同意退款。而且卖家说现在身上没钱，如果真的付20%的违约金还是不能退款怎么办啊？