我家盖正房邻居干涉不让在他家老房子外我的院子里盖厕所猪圈无奈

我家盖正房邻居干涉不让在他家老房子外我的院子里盖厕所猪圈无奈我为此签了协议正房盖好后我还是在哪儿建立猪圈和厕所请问我为盖正房被逼无奈签了协议生效吗