关于租房的纠纷

是这样的我公司本来打算把我调走，我就把房子转租出去，然后有人看中了，我当时也答应了，他东西都搬了一点过来，但是我还没搬走，然后现在公司突然不让我走了，所以我不想转租给他了，他就要我赔偿损失或者搬走？我该怎么做？