买一套二手房,当时她妻子在家和我们签订了卖房合同,交了2万

买一套二手房，当时她妻子在家和我们签订了卖房合同，交了2万定金。当时也当着中介和我们的面打了他丈夫电话确认卖房的 ！ 现在由于政策原因不上缴营业税了，所以他丈夫想我们加钱，说合同是她妻子一个人签的，不具备法律效应 ！ 合同上注明卖方违约赔双倍违约金。 现在他不知愿意还我2万。 请问这种情况，我能要到双倍违约金吗？