调解协议是否违法怎么样能使这份协议无效?

楼下房主不允许我们出租自己的房子，说是太吵会影响到他们，我家在装修期间他们就经常性来吵闹，几次吵到物业以及居委会，他家长辈还来我家里扬言要吃点药死在我家里，他家还要在405的楼梯口装铁门阻止我们上楼（他家来我们吵闹时没有录音还有拍照片没有证据，但是他们讲要在楼梯口装铁门的这个情况下装修师傅在场）经过居委会的调解签了一份调解协议。我家住5楼带了阁楼的房子是505室，楼下405户主同意我出租阁楼房子，6楼楼层只能自住，居委会的调解下签定了一份协议，协议内容如下：协议甲方：***小区**号楼**号室**（这里是我老公的名字）乙方：***小区**号楼**号室**（这里是对方男人的名字）事由：乙方为甲方租房产生争质一事经双方协商乙方同意思甲方出租阁楼，505室只能本户居住不得出租，以上协议经双方协商达成一致，任何一方不得返悔。调解员：***    协议人：***  ***（这里是双方的签字）签定这份协议时我不在场，我知道后坚决反对，这明显是一份霸王条款，凭什么我的房子需要楼下的人同意才能出租，所以现在我想咨询各位律师是想确定这份协议是否违法，我老公签字之后是否表示放弃了自己的某些权利（比如说物权法），我要怎么做才能捍卫自己的权益？请各位律师帮帮我吧，我跟我老公吵的要离婚了，怎么可以背着我签下这样不平等的条纹，自己的房子为什么要由别人来决定是否出租！ 收起