买房时和开发商签了借款协议,因延期付钱,先同意不要违约金,可以延期付款,现在又要了,我该怎么办?

买房时因为没有那么多钱交首付款，和开发商欠了一个借款协议，协议内容如下：某某某借款70万元，于2014.10.30号还清，否则按银行利息4倍计算。后来经过口头协商延期归还，不要违约金，现在准备付清尾款了！他要起诉追讨违约金！我现在怎么办呢？