关于小产权买卖问题

本人在深圳有一套小产权房,于今年五月月初卖给了一个广东人,买方支付了两万块钱定金,双方都签订有购房合同,双方都盖有手指印,上面也清楚标明如果买房没有按时支付剩余房款,这个定金将归我本人所有,并约定好六月份月初等买房付完剩余的房款后做律师见证过户的;但这几天买家却以小产权不能够进行买卖,不合法,购房合同无效为由,提出了购房合同解约,并要求我将前面支付的两万元定金退还给他,否则他将到法院告我。如果我不退还他两万元定金的话,他到法院告我,我是否会败诉?或者说是我会有多大的胜算? 收起