我有块地租给了别人办厂对方还在那里建了一栋厂房,租金是每年1

我有块地租给了别人办厂对方还在那里建了一栋厂房,租金是每年12月30号之前要给到我,截至到目前为止对方迟迟不给租金,合同里有一条款租金在12月30号之前没有给到我方可以终止合同,我现在要求终止合同收回地皮,他所建厂房我是否可以将他拆除并且不承担他的赔偿(备注:他所建厂房没有经过土管局审批的,所于违法建筑),盼回复,谢谢!