由于建房原因,只有一家坚持不同意,现在我们在小路上拉材料建房,不让施工,算不算违法呢

由于建房原因,把原来的村小路改出两米之外,其他几户人同意了,只有一家坚持不同意,现在我们在小路上拉材料建房,这户人家每天都在阻拦,不让施工,他的这种算不算违法呢