我是出租方,现在租我房屋的人要退房,让我退还剩余的房租,我要退吗

看之前签的协议如何描述的了

对方违约。实在无法继续履行合同,你可以解除合同并要求对方承担违约责任,违约责任的承担有约定按约定,没有约定可以按造成的实际损失赔偿,比如说短期内无法出租的损失。