Business Intelligence

Business Intelligence

Conjunto de processos, tecnologias e ferramentas que transformam dados em informações úteis para apoiar a tomada de decisão nas organizações.

Objetivo do BI

Apoiar decisões estratégicas, táticas e operacionais por meio de análise de dados e geração de insights relevantes para o negócio.

Dados x Informação

Dados são registros brutos e isolados, enquanto informação é o dado organizado, contextualizado e interpretado para gerar significado ao usuário.

ETL

Processo de Extrair, Transformar e Carregar dados, usado para trazer informações de diversas fontes para um ambiente de análise como o Data Warehouse.

Data Warehouse (DW)

Repositório central de dados integrado, orientado a assuntos e histórico, projetado para suporte à decisão e análises gerenciais.

Orientação a Assuntos no DW

Característica do DW em que os dados são organizados por temas de negócio (como vendas, finanças, clientes) para facilitar a análise.

Dados Históricos no DW

Armazenamento de informações ao longo do tempo, permitindo análise de tendências e evolução dos indicadores do negócio.

OLAP

Tecnologia de análise multidimensional que permite explorar informações em diferentes perspectivas, como por produto, região, período ou cliente.

Cubo OLAP

Estrutura multidimensional que organiza dados em dimensões (perspectivas) e medidas (valores numéricos), possibilitando operações analíticas interativas como drill-down, roll-up, slice, dice e pivot.

Medidas em OLAP

Valores numéricos analisados em um cubo OLAP, como faturamento, quantidade vendida ou lucro, agregados por diferentes dimensões.

Dimensões em OLAP

Perspectivas de análise de um cubo OLAP, como tempo, produto ou região, usadas para navegar e detalhar os dados.

Power BI

Ferramenta de Business Intelligence da Microsoft usada para conectar dados, realizar ETL básico, modelar informações e construir dashboards e relatórios interativos.

Dashboard em BI

Painel visual que apresenta indicadores chave de desempenho e métricas relevantes em um formato sintético para acompanhamento gerencial.

Indicadores de Desempenho (KPIs)

Métricas que refletem objetivos estratégicos e permitem monitorar o desempenho de processos, produtos ou áreas do negócio.

Visualização de Dados em BI

Uso de gráficos, tabelas e outros recursos visuais para facilitar compreensão, descoberta de padrões e comunicação de insights.

Fonte de Dados Operacional

Sistemas transacionais do dia a dia (como ERP, CRM) que registram operações da empresa e alimentam o processo de BI.

Integração de Dados em BI

Etapa que reúne informações de múltiplas fontes em um modelo unificado, eliminando inconsistências e duplicidades.

Qualidade de Dados em BI

Grau de confiabilidade, consistência e completude dos dados, essencial para que os insights gerados sejam úteis e corretos.

Governança de Dados em BI

Conjunto de políticas, processos e responsabilidades que garantem uso adequado, segurança e padronização dos dados corporativos.

Tomada de Decisão Baseada em Dados

Processo em que gestores escolhem ações e estratégias apoiados em evidências fornecidas pelo BI, em vez de decisões puramente intuitivas.

Fontes de dados

Conjuntos de dados operacionais que dão origem ao processo de Business Intelligence, servindo de entrada para ETL e Data Warehouse.

ETL (Extração, Transformação e Carga)

Processo de integração de dados que extrai registros brutos de fontes operacionais heterogêneas, transforma-os (limpando, padronizando, enriquecendo e integrando) e carrega-os no Data Warehouse ou Data Mart.

Data Warehouse/Data Mart

Repositório centralizado de dados integrados, estruturados para análise e apoio à tomada de decisão organizacional.

Modelagem de dados dimensional

Técnica que organiza dados em tabela fato (tema principal do negócio, como vendas) e tabelas dimensão que descrevem esse fato.

Tabela fato

Tabela central da modelagem dimensional que armazena métricas quantitativas do evento de negócio (vendas, faturamento, quantidades), relacionando-as às respectivas dimensões por meio de chaves estrangeiras.

Tabela dimensão

Estrutura que contém atributos descritivos do fato, como cliente, produto, tempo ou região, utilizada para detalhar análises.

Ferramentas de análise e relatórios

Conjunto de softwares que navegam na modelagem dimensional e convertem dados em informações na forma de consultas e relatórios.

Visualização de dados

Representação gráfica das informações, por meio de gráficos, painéis e dashboards, facilitando interpretação pelos tomadores de decisão.

Governança de dados

Conjunto de políticas e processos que garante qualidade, segurança, acesso controlado e conformidade dos dados corporativos.

Business Analytics (Análise de negócio)

Coleção de ferramentas para manipular, minerar e analisar dados no Data Warehouse, incluindo recursos de data mining.

Business Performance Management (BPM)

Conjunto de práticas e ferramentas voltado a monitorar e analisar indicadores de desempenho do negócio.

Interface de usuário em BI

Camada visual que apresenta dados e indicadores aos tomadores de decisão, como dashboards, cockpits ou portais.

Principais componentes de um sistema de BI

Data Warehouse, análise de negócio (Business Analytics), Business Performance Management e interfaces do usuário.

Camada origem de dados em BI

Ambiente operacional onde se encontram os aplicativos que geram dados, servindo de base para o processo de ETL.

Componentes de um Data Warehouse

Estrutura composta por 4 camadas principais: sistemas de origem operacionais, infraestrutura/ferramentas de ETL, repositório central de dados (DW/Data Marts) e aplicações de front-end para consulta e visualização (dashboards/OLAP).

Data Warehouse

Repositório centralizado e integrado de dados estruturados, voltado para análise e geração de relatórios, fornecendo visão consolidada e histórica da organização.

Características do Data Warehouse (Inmon)

Conjunto de dados orientado por assunto, integrado, não volátil e variável no tempo, mantendo histórico para apoiar a tomada de decisão.

Não volatilidade no Data Warehouse

Após inseridos, os dados não podem ser alterados pelos usuários, permitindo apenas consultas, sem operações rotineiras de inclusão, alteração e exclusão como em bancos transacionais.

Variável no tempo no Data Warehouse

Mantém dados históricos ao longo do tempo, permitindo análises de série temporal, tendências e comparação de períodos, sem focar no status atual em tempo real.

Orientado por assunto no Data Warehouse

Os dados são organizados por temas de interesse (assuntos de negócio) e não por processos operacionais, facilitando a análise gerencial e estratégica.

Integrado no Data Warehouse

Reúne dados provenientes de diversas fontes internas e externas, padronizando formatos e unidades por meio do processo de ETL para fornecer modelo de dados comum.

ETL (Extração, Transformação e Carga) (Parte 2)

Processo usado para construir o Data Warehouse: extrai dados das fontes operacionais, transforma (limpa, padroniza, integra) e carrega no DW em formato adequado à análise.

Data Warehouse x Banco de dados transacional

Banco transacional é orientado a aplicações de negócio e operações diárias com dados voláteis; Data Warehouse é orientado a assuntos de análise, com dados sumarizados, não voláteis e históricos.

Nível organizacional atendido pelo Data Warehouse/BI

Ferramentas de BI que usam DW apoiam principalmente níveis gerencial e estratégico, com dados sumarizados para gestão de processos e planejamento da empresa.

Tipo de dados armazenados no Data Warehouse

Dados, em geral, são sumarizados de toda a empresa para apoio à decisão e uso de ferramentas OLAP, não focando em transações detalhadas em tempo real.

Função principal do Data Warehouse

Transformar dados operacionais em informação voltada à tomada de decisão, apresentando indicadores, evolução de valores ao longo de grande janela de tempo e suporte ao BI.

Data Warehouse em arquitetura de BI

Em ambientes de Business Intelligence, o DW atua como repositório de dados integrado e histórico, fornecendo base coerente para relatórios, OLAP, mineração de dados e análises avançadas.

Data Warehouse em empresas com várias plataformas

Em organizações com múltiplas plataformas de hardware e software, o DW fornece modelo de dados comum, independente da fonte, promovendo padronização e integração.

Diferença funcional DW x banco transacional (FGV)

Banco transacional tem finalidade orientada a aplicação de negócio; Data Warehouse tem finalidade orientada ao assunto de análise usado em apoio à decisão.

Objetivo dos Data Warehouses

Facilitar o processo de tomada de decisão, apoiando análises de negócio com maior volume de dados históricos do que o mantido em bancos transacionais.

Data Mart

Subconjunto de um Data Warehouse que representa uma visão específica e segmentada dos dados para atender a uma área de negócio ou equipe específica, com informações focadas em determinado assunto como vendas, marketing, finanças ou RH.

Data Mart – abordagem Top-down

Abordagem em que os Data Marts são derivados diretamente de um Data Warehouse corporativo já existente, garantindo alinhamento centralizado dos dados.

Data Mart – abordagem Bottom-up

Abordagem em que os Data Marts são criados separadamente para áreas específicas e depois integrados em um Data Warehouse central da organização.

Data Mart – benefícios

Proporciona foco em necessidades específicas, melhor desempenho nas consultas, maior autonomia para as equipes usuárias e flexibilidade na análise de dados departamentais.

Data Mart – definição em concursos

Subconjunto de dados referentes a uma área específica, não normalizados e indexados para suportar pesquisas analíticas, geralmente extraído de um Data Warehouse.

Business Intelligence (BI)

Conjunto de conceitos e tecnologias que combina análise empresarial, mineração de dados, visualização de dados, infraestrutura de dados e boas práticas para apoiar decisões impulsionadas por dados nas organizações.

Data Warehouse (Parte 2)

Repositório central de informações, orientado a assunto, que integra dados de múltiplas fontes transacionais e relacionais para serem analisados com foco em apoio à decisão gerencial.

Relação BI – Data Warehouse – Data Mart

BI utiliza tecnologias como Data Warehouse para consolidar dados de diversas fontes; quando se deseja trabalhar com subconjuntos voltados a um único departamento, utiliza-se o conceito de Data Mart.

OLAP – conceito geral

Processamento Analítico On-line que permite explorar, analisar e extrair informações de dados históricos e multidimensionais de forma interativa, com respostas rápidas a consultas analíticas complexas.

OLAP – características principais

Envolve modelagem multidimensional, operações analíticas, desempenho otimizado sobre o modelo dimensional, acesso hierárquico às dimensões, funcionalidades de navegação e visualização dos resultados.

Função do OLAP em Data Warehouse

Ferramenta ou tecnologia de acesso à informação do Data Warehouse que organiza, consolida e permite acesso a dados de múltiplas fontes para tomada de decisão empresarial.

MOLAP (Multidimensional OLAP)

Forma clássica de OLAP que armazena dados em modelo multidimensional em cubos, com pré‑computação ou computação sob demanda, oferecendo consultas mais rápidas e menor uso de disco, porém sujeito à explosão de dados.

ROLAP (Relational OLAP)

Variação de OLAP que trabalha diretamente sobre bancos de dados relacionais, sem pré‑computação, mantendo dados em tabelas relacionais, com cargas mais rápidas, maior escalabilidade e tempo de desenvolvimento maior; cria visões multidimensionais a partir de BD relacional existente.

HOLAP (Hybrid OLAP)

Tipo híbrido de OLAP que trata bancos com parte relacional e parte multidimensional, armazenando agregações em MOLAP e dados detalhados em ROLAP, podendo particionar vertical ou horizontalmente.

WOLAP / DOLAP / RTOLAP / GOLAP

WOLAP é OLAP baseado em web, com análises e navegação interativa via ambiente web; DOLAP é OLAP de desktop com dados acessados localmente; RTOLAP é OLAP em tempo real; GOLAP é OLAP gráfico com uso intensivo de visualizações.

ETL (Extract, Transform, Load)

Processo de integração de dados que envolve extrair, transformar e carregar dados de múltiplas fontes para um Data Warehouse, seguindo regras de negócio definidas.

Etapa de Extração (ETL)

Fase que obtém dados das fontes (BD relacionais, CSV, Excel, APIs, ERP, CRM, logs, sistemas legados, fontes externas), fazendo a identificação, conexão, acesso e cópia dos dados para o ambiente de preparação.

Etapa de Transformação (ETL)

Fase mais longa do ETL, realizada na Staging Area, em que se aplicam regras de negócio, limpeza de dados, padronização, normalização, enriquecimento, agregações, cálculos derivados e transformação de tipos de dados.

Etapa de Carga (ETL)

Fase em que os dados transformados são carregados em Data Warehouse ou Data Marts, com carregamento inicial, atualizações incrementais, validação, avaliação de qualidade, indexação e otimização dos dados.

Staging Area (Data Staging Area)

Área intermediária/temporária da arquitetura de DW onde os dados extraídos são armazenados e preparados antes de serem processados e carregados no destino (DW, Data Mart etc.)

ODS (Operational Data Storage)

Repositório que consolida dados operacionais de diversas aplicações, complementa conteúdo e pode ser alimentado a partir da Staging Area antes de carregar o Data Warehouse.

Principais atividades de limpeza de dados

Tratamento de ruídos, remoção de duplicidades, correção de erros de formatação, tratamento de valores ausentes e identificação de outliers (pontos fora da curva, dados errados)

Normalização de dados (no ETL)

Padronização dos dados para ficarem na mesma escala, incluindo padronização de medidas, formatos e tipos, facilitando a integração e análise posterior.

Enriquecimento de dados (no ETL)

Processo de buscar dados em outras fontes para complementar e alimentar tabelas, aumentando o conteúdo informacional dos registros.

Periodicidade de carga no DW

No processo ETL, um intervalo possível (e cobrado em prova) para carga periódica de dados no Data Warehouse é de 24 horas.

Diferença entre ETL e análise de dados

ETL é voltado à extração, transformação e carga; a análise multidimensional e visões complexas dos dados são feitas depois, em ferramentas como OLAP e BI, não na fase ETL.

Papel do ETL em projetos centrados em dados

Tecnologias ETL recuperam dados de muitas fontes, fazem limpeza e carregam em data warehouse, sendo parte essencial de qualquer projeto data‑centric.

Relação ETL e OLTP

Sistemas OLTP (transacionais) são fontes de dados que alimentam a etapa de extração do ETL; os dados são copiados para área temporária (staging) para posterior transformação e carga no DW.

Tradução de valores codificados (limpeza)

Exemplo de transformação: converter códigos (1/2 para sexo) em valores legíveis (M/F), etapa de limpeza e transformação realizada antes da carga no DW.

Business Intelligence (BI) (Parte 2)

Conjunto de técnicas e arquitetura que define regras para formatação adequada dos dados, transformando-os em depósitos estruturados de informação (como DW) para apoiar decisões, independentemente da origem dos dados.

ELT

Novo fluxo de transformação de dados que surgiu em complemento ao ETL, em que a carga ocorre antes da transformação dos dados.

ETL (Parte 2)

Processo de Extrair, Transformar e Carregar dados, mais tradicional, que costuma ser mais demorado e menos adequado para grandes volumes em ambientes modernos.

Etapas do ELT

Extração (identificação das fontes; conexão e acesso), Carga (carregamento inicial no data lake; estruturação dos dados) e Transformação (preparação e transformação usando recursos nativos do ambiente de destino).

Foco do ELT em dados

ELT é mais adaptado a dados semiestruturados e não estruturados, com ênfase em grandes bases de dados.

Disponibilidade de dados no ELT

No ELT os dados sempre estão disponíveis, pois o engenheiro de dados foca em extração e carga, deixando a transformação para o ambiente de destino.

ELT e Data Lake

ELT é mais adaptado a data lakes, reduz o tempo de carga dos dados e tem baixo custo de manutenção do repositório.

Transformação no ELT

No ELT, a transformação ocorre no ambiente de destino, de forma mais rápida, muitas vezes feita por especialistas do negócio.

Esquema em Data Lake

Em data lakes, o esquema é gravado no momento da análise (esquema de leitura), permitindo maior flexibilidade sobre dados não estruturados.

Vantagens do ELT sobre ETL

Comparado ao ETL, o ELT apresenta tempos menores de carregamento e transformação, resultando em menor custo de manutenção.

Conceito de Data Lake

Data lake é um repositório de armazenamento que guarda grandes volumes de dados, estruturados, semiestruturados e não estruturados, sem foco em responder perguntas específicas do negócio.

Data Lake x Data Warehouse: esquema

Data lake: esquema gravado no momento da análise (esquema de leitura); Data Warehouse: esquema definido previamente (esquema de gravação/escrita).

Data Warehouse: qualidade dos dados

No Data Warehouse, os dados são altamente selecionados e representam a “versão central da verdade”.

Data Lake: tipos de dados

Data lakes utilizam dados relacionais e não relacionais oriundos de aplicações móveis, mídias sociais, IoT e aplicações corporativas.

Consultas em Data Warehouse

Em Data Warehouse, os resultados das consultas são mais rápidos e as análises aparecem em relatórios em lote e visualizações.

Erro comum em prova: ETL e grandes volumes

É incorreto afirmar que o ETL permite analisar grandes volumes rapidamente; em geral é um processo demorado, especialmente comparado ao ELT moderno.

Modelagem dimensional

Técnica de modelagem de dados voltada para análise em Data Warehouse, organizada em tabela fato (evento de negócio) e tabelas dimensão (aspectos descritivos), privilegiando consultas rápidas e agregações sobre grandes volumes de dados.

Tabela fato (Parte 2)

Tabela central de um modelo dimensional que armazena medidas numéricas (como vendas, lucro, quantidade) e chaves estrangeiras para as dimensões, representando cada ocorrência de um evento de negócio.

Dimensão

Tabela que descreve os fatos por meio de atributos como produto, cliente, tempo e localização, usada para filtrar, agrupar e organizar as informações em análises de Business Intelligence.

Dimensão degenerada

Atributo que poderia ser uma dimensão, mas é armazenado diretamente na tabela fato; geralmente é uma chave natural ou valor descritivo isolado, sem outros atributos associados, mantendo apenas seu próprio significado.

Tabela factless

Tabela de fatos que não possui medidas numéricas, contendo apenas chaves estrangeiras das dimensões para registrar a ocorrência de eventos ou condições (como presença, participação, ocorrência) sem valores agregáveis.