解除房屋购买协议

2016年3月在北京通州看上一套房子，总房款是110万，2017年6月交房，在2016年3月15日签订合同，首付款是50%，分三次交付，分别是20%，10%，20%，剩余部分以贷款方式，现在是6月份，还差三个月，由于家庭原因无力支付剩余首付款，想要退了这个房子，这个首付款20%能追回吗