本人购买了一套房子,签了购房合同,并交了两万定金,现在由于卖方需要十二万解除房屋贷款,我购买的房子首

本人购买了一套房子，签了购房合同，并交了两万定金，现在由于卖方需要十二万解除房屋贷款，我购买的房子首付九万，然后在合同补充条款上注明答应借给卖方三万解除贷款。。现在中介说房管所收到9万首付之后是不能当做解贷资金用的，也就是说我还需要再准备9万借给卖方。请问我现在想解除购房合同，算是我违约吗？如果能退的话具体流程是什么！