我家住宅旁边有一块水稻耕地,耕地的主人想私下把耕地建设成猪舍

我家住宅旁边有一块水稻耕地,耕地的主人想私下把耕地建设成猪舍去搞养殖,这势必会影响我家住宅地的环境和空气质量,我应该怎么样去阻止他建设猪舍,私下改变耕地用途违法吗?违反什么法律?还有如果他执意要建,我改去哪维权?