有权要求他赔偿违约金吗?

我们买的二手房,卖家当时说他家有7万元的贷款没还,说自己去还,然后房产证解压,现在又说搞错了,他家还差17万没还,现在没有那么多钱还款,让我家先出钱还款,可是我家人肯定不会同意的,因为当时都说好的,也签了合同,但是合同上只是写了分三次付款,这样我们有权告他吗?有权要求他赔偿违约金吗?