我的房子租给他几天,他说不租了。之前他是看过房子的,后来因为个人原因要退租我可以不退吗?

我的房子租给他几天,他说不租了。之前他是看过房子的,后来因为个人原因要退租。我可以不退吗?因为就在和他签定为期一年的租房合同后,就有另外租房子的要租,我把对方就给回绝了。