关于中介违反租房合同的问题

如果当时房主和中介签的合同中包括有房屋内不能养宠物，不能做集体宿舍用途，注意邻里关系等事项，但是中介出租房屋后，房主发现房屋作为集体宿舍并饲养多只宠物，而且多次被邻居和居委会上门来投诉。这样房主是否可以有权和中介提出要终止合同，收回房屋？如果中介不同意交房，应该去什么部门解决？