农村自建房一定需要四邻签字吗?

我想造套房子，原拆原建德，村大队要求四邻签字，因为有点瓜葛我那邻居结果死活都不肯签字，难道他这辈子不肯签字我就都不能造了吗？我想咨询下，如果我不通过他签字是否可以造，造完后算不算违章建筑？