我与卖房者的欠款纠纷

本人13年买楼房一套，当时付17万，打8万元的欠条，对方当时说14年10月份交房，我便在欠条上写了“14年10月付清”，结果15年7月才拿到钥匙，我已陆续付了6万，现剩2万元，我并没有说不付，只想扣除一些违约金，现在他起诉了我，我该如何解决？