分期的尾款没给,现在要我给尾款的违约金,而且我们之间就是个借款协议,房子延期了两年才能交房

我首付分期买的房,分期的尾款没给,现在要我给尾款的违约金,怎么办,而且我们之间就是个借款协议,房子延期了两年才能交房