房屋租赁合同违约金如否应当归还?

双方已签订房屋租赁合同,合同期限为一年。其中写明:“违约责任。在租赁期间,甲乙双方如因其他原因任何一方提出提前终止合同,均属违约行为,违约方必须提前一个月书面通知对方解除合同,并由违约方支付对方2600元作为违约金。”租户住了半年,要求退房。他提前一个月通知了我,但要求我归还作为违约金的押金。请问是否需要归还???