前年买的二手房,首付款是别人拿我的存折去银行交的首付款,房产证是我的,后面的房贷也是我在交,当时也没

前年买的二手房,首付款是别人拿我的存折去银行交的首付款,房产证是我的,后面的房贷也是我在交,当时也没写什么东西,他现在拿当初的银行卡向我要钱,我也没有什么证明说首付款是我的,我得要求他怎么写证明说明首付款是我的钱。如果他不写证明给我说是我的钱,我是否得把钱给他?