开发商一直不交房

开发商公积金贷款一直办理不下来，购房三年多了一直让等待银行放款不给交房，购房合同上未明确开发商责任，如果开发商单方解除合同只退还房款本金，其余税费不退，购买方要求退房要赔偿20%违约金。现在由于开发商拖延时间较久不愿意再等，想退房，要回所有缴纳的金额，应该怎么办。