签订买房合同后，到了首付款日期，却没钱付怎么办？

问题是这样的:我09年11月份卖了自己的房子,对方是付了首付,剩余的钱通过银行贷款。这之后我买了卫岗的一套房子,付了壹万元定金。约定首付款的日期是12月20日,但是到12月12日,之前买我房子的那人的贷款还没下来,我就没钱付这个首付。现在卫岗的那个房主说我违约,想要取消交易,我该怎么办?