小产权房的首付款打官司能拿回来吗

我们县城有一块地划规成新农村，每家可以建一栋五层的楼房，我在其中的一户中买了一楼，先首付了10万，他打了收条，规定今年付8万，合同中没有写违约责任，我现在不想要了，我能不能打官司拿回来首付的钱呢，