你好,我想问一下:我家之前把房子租出去但后来房客搬

你好，我想问一下:我家之前把房子租出去但后来房客搬走了（没到合同期），现在他说是由于我家附近人员与他有争执使他无法居住搬走了，还说是我们故意赶他走要求我们赔偿他所有搬家费用和租房钱，请问我应该怎样做