这种情况房子是不是可以不卖

我一套房子已与买方签订了协议,并收定金一万,但当时我在外地,是我老公通过中介与买方签的协议。现在由于某种原因我不想卖了,而且房子是我一个人的名字,请问我是否可以不履行合同且不承担违约?合同是否可以认定无效?