租赁房子期限未到(还有2年)又因房主按合同约定扣违约金,因已交钥匙可终止合同收回房屋吗?

您好赵律师,租赁房子期限未到(还有2年),房客私下租好对门的房并将东西已全部搬入,多次打电话给房主退房,现钥匙交给了房主,又因房主按合同约定扣违约金,房客又要钥匙又要租房,因已交钥匙可终止合同收回房屋吗?可以不租给房客吗?谢谢您!