二房东违法出租房子,提前终止合同还不肯赔付违约金

租了二房东的房子(租的时候房东和中介并未说明是二房东)3个月,现二房东说因为这栋房子是军产,不允许被出租,现在被军队发现,要求我们在12月25号之前搬出,但是不肯支付我们违约金(合同里说明任何一方提前终止合同则赔偿对方两个月房租作为违约金)并且还威胁我们,请问现在用什么方法处理比较好