与不是房屋产权人的卖房人签了购房合同,现在对方以合同无效为由不卖了,我可以叫对方付违约金么

当时卖房人写了承诺书,承诺产权人同意她出售该房产。如果产权人不追认合同导致合同无效的话,我是不是可以依据承诺书直接向他索要违约金,法律上是否支持?另外我和他还需要支付全额中介费么?