房屋租赁协议未到期,一方需提前终止应承担的责任

我租了一套两层的5室2厅2卫的房子,自己和家人住上面两间,下层三间都单独出租.有一间房是属于雇主承租,其员工居住.现其员工离职并已搬离,截止我提问时居住时间为3个月零10天(第二季度房租已交),现承租人(雇主)要求退房.我的问题是,按照协议第三项的第6条,我是否可以拒绝退还他已经交付的房租,并要求他承担违约赔偿责任.或者说我的拒绝和要求是否合法.签订的租赁协议如下: 房屋租赁协议出租方(以下简称甲方) 姓名: XXX 身份证号码: XXXXXXXXXXXXXXXXXX承租方(以下简称乙方) 姓名: XXX 身份证号码: XXXXXXXXXXXXXXXXXX甲乙双方经友好协商,就房屋租赁之相关事宜达成协议如下:一, 租赁地址及房屋设施. 地址: XXXXXXXXXXXXX (限组__人) 房屋规格: XXXXXX 设施: XXX XXX XXX XXX二, 协议期限及相关约定. 1. 租赁期限(壹)年,自 2008年07月04日起,至 2009年07月03日. 2. 房屋租金为(XXX)元/月,方式为 (三个月一付), 乙方需提前一个月支付下季度房租. 3. 房屋押金为(XXX)元,协议终止时,甲方验收房屋设施无误后退还乙方.三, 双方责任及义务. 1. 租赁期间,甲方不得将此房屋转租(售)给任何第叁方,且不的以任何理由提高租金. 2. 租赁期间,乙方不得使用此房屋从事任何非法活动,须妥善处理好邻里关系,并遵守住宅小区的管理规定,否则一切后果由乙方自行承担. 3. 租赁期间,水费按实际居住人数平摊,电费按电器用电量所占比例交付,经双方评估,乙方电费交付比例为 X/X.若由于房屋住户变更/甲方或乙方使用电器变更,甲乙双方重新评估乙方电费交付比例. 变更原因:_______________乙方比例_/_, 甲方_____乙方_____日期___ 变更原因:_______________乙方比例_/_, 甲方_____乙方_____日期___ 变更原因:_______________乙方比例_/_, 甲方_____乙方_____日期___ 4. 租赁期间,乙方不得擅自变更房屋结构,并爱惜室内设施,若非自然折旧式损坏,在协议终止时,甲方有权向乙方索取赔偿. 5. 租赁期间,乙方有以下情形之一的,甲方有权终止本协议,收回房屋使用权,由乙方承担全部责任,并赔偿甲方一个月房租的损失: (1)乙方未自觉保持房屋内公共场所的环境卫生,影响其他租户正常生活,经甲方三次提醒仍不改善. (2)乙方未经甲方同意,擅自留宿未经甲方认可的其他人员三天(含)以上. (3)乙方利用承租屋进行非法活动损害公共利益. (4)乙方无故拖欠房租达十五天以上或无故拖欠水电宽带等费用达三个月. 6. 租赁期内,甲乙双方有任何一方因特殊情况需提前解除本协议的,须提前一个月告知对方,经友好协商,双方意见一致后本协议解除,但乙方不得要求甲方退还已经交付的全部或部分房租;协议履行未满半年,乙方需解除本协议,须承担违约赔偿,违约金数额不得超过房屋月租金. 7. 协议有效期内,房屋使用权归乙方所有,甲方须确保乙方之正常居住,不得已任何形式干涉,影响乙方的日常生活.四, 其他事宜 其他未尽事宜,由甲乙双方协商解决,协商不成则按照现行有关法规办理,或提交有关仲裁机构仲裁. 本协议一式两份,甲乙双方各执一份,经双方签字确认后即刻生效.五, 补充说明. ____________________________________________________________________________________________________________________________ 甲方:_________ 乙方:___________ 电话:_________ 电话:___________ 签定日期:____________ 收起