二手房交易房东要违约

买了一套房,定金交了40万,约定满两年后办理过户,约定首付款银行托管时,房东退32万作为我首付款放银行,托管,现在房东不肯退32万做首付款,理由是放款时间变长,让我们出利息,不出利息,就不退32万做首付款,退32万有书面说明,放款时间,只有中介给的口头承诺,