交了房屋首付了,可由于单位开始修房子想在单位购房,想退掉商品房的首付,14万,购房合同已签,对方按时

交了房屋首付了，可由于单位开始修房子想在单位购房，想退掉商品房的首付，14万，购房合同已签，对方按时交房没有违约，是自己违约要退房，也愿意承担违约金，去协商对方意思是不会退还一块钱，像这种情况应该怎么处理，已经拖了两年了，可合同中没有写滞纳金条款，去协商对方不但要收剩余房款，还要收两年的违约金。这种情况如何退首付