与中介租房协议的不返还剩余房款合理性

问下房主委托中介最多租给4个人但是现在中介租给我们5个人,我们与中介签署的合同有效吗?合同中有条是“如果中途不租扣留押金和剩余房款”中的不返还剩余房款合理吗?希望解释的详细些,谢谢。