租房给别人 那人交了租金(10000)元 后来他又不租而且想要回租金

那个人想租我家房子做饭店 而我家已经把房子租给了几户人 由于能够整顿出租给一户能够方便些 于是我家就退了那几户租给了这个做饭店的 于是这个户人交了10000元定金 可是就在我家前几天这个租房者不想租我家了 而且还要我家退还租金(本来开始还有租户租我家大 现在既不是没有人租我家了 我肯定不想退还租金)这该怎么办 请你们帮帮忙把