我通过中介买了一套二手房,户主现在说要起诉我诈骗,说首付二十几万全不赔回给我。承担费用后能退回首付吗

你好,我通过中介买了一套二手房,过户在我名下了,后面银行政策变了,我的贷款一直下不来,最后做了一个抵押贷五年的下来了才二十万,不够给户主,刚好家里遇到有事我这边用了那个钱,户主现在说要起诉我诈骗,说首付二十几万全不赔回给我。我这边能过户回给他,承担费用后能退回首付吗