我单位为一小企业,因生产经营需要贷款,元旦前通过别人认识了李

我单位为一小企业，因生产经营需要贷款，元旦前通过别人认识了李某，李某自称他和某银行行长熟，他能跑下来贷款，于是给了他6万元，他打了条子（写的是1月20日款贷不下来无息全额退还），但到目前为止贷款手续还没走，约定的日期马上到了，我们也不想让他办了，如果李某不退钱我给怎么办，如果他只答应退一半我该怎么办（说自己跑贷款花了一半）。