交了首付如何退房,我啥和同都没签,现在没经济能力不够,能退么

我首付还借了点钱，想想依我的条件没那能力，现在人家不退首付，交了不到七万的首付，人家说要退就得扣两万的违约金。谁能帮帮我出出注意，谢…