中介擅自转租我的房子给违法人员,我能解约收回房子吗?

中介未经我同意擅自转租我的房子给违法人员，警察破门把人抓去，我现在想和他解除合同，他说合同没到期要我赔偿，合同没注明不能转租，我能起诉他吗？