信用卡逾期无法购房

我于13年6月在西安购房，并以交了首付，但是发现我的信用卡有逾期，无法贷款，经查发现为本人在08年上高中时学校所办工行信用卡年费所致，如果我现在不想买房子了，我想要回我的首付，房产商该不该扣我违约金或是像这种信用卡由年费造成的，我该怎么才能带到款。