买卖合同约定4月28号过户支付房款80万,5月31

买卖合同约定4月28号过户支付房款80万，5月31号贷款额60万由银行放款。现在贷款出现问题需要重新办理21个工作日，我和房东商量他要求我在28号同时把贷款60万先垫付给他，而且过户时间只延迟5月18号…真的来不及。打算4月28号提交材料也要21个工作才可以完成…他说算我违约赔偿20%，我钱都答应给他，还说我违约。