我购买二手房卖方欲违约企图不赔偿违约金

我已和卖主以及中介公司签了三方合同，还在房管局备了案。房主是卖方家庭中的老婆，由于其当天不在，所以由其丈夫代理签字按手印（已经电话询问经卖方老婆同意），现在卖方突然说不卖了，并且说由于卖方老婆并没有没有在场未授权为由企图赖掉违约金。请问其丈夫作为代理人并经得其老婆同意签字按手印具不具有法律效力，他能否赖掉违约金？