签购房合同了二手房定金能要回来吗！！急

前段时间看个总价70 W的二手房，交了定金1万签合同了，一周后又给了4万（收条上写的首付款）这样下来一共给了5万，后来觉得一个人还款太累久不想要了，房东一分钱不给退。因为我们签的购房合同：如果违约需要支付对方20%的总房款作为违约金，我的钱能拿回来吗