买房遇到的卖方要求先付贷款金额的问题

律师你好,我想咨询一下买房中,卖方要求把贷款金额先给他,然后等贷款发放下来再还给我们,万一卖方不及时将发放下来的贷款金额还给我们,这样我们就存在着风险,请问有什么好的方法能将这风险降到最低。