房租没到期,提前退房,房东开始同意退,我们搬走以后又反悔说我们违约,要扣钱,怎么办

房子一年到期，口头续租了一年，后来续租后没几天就说他要卖房子，后来又续签了一份纸质合同，租期三个月，因为是季付，已经付了三个月的钱，后来我们找房子提前找到的，就跟房东商量能不能提前退房，房东同意了，房租和押金全退，过两天给我打卡，我们就搬家了，结果搬完家，过两天给我打电话说我违约，要扣我钱，这个合理么，我该怎么办？合同上有一天是双方达成一致意见可以解约，但是我们解约的时候没有签合同了，都是口头协议 收起