Introdução

Com o boom da transformação digital, as organizações sofreram mudanças significativas em sua cultura organizacional. As novas tecnologias, permitiram que as empresas melhorassem seu escopo de serviços e produtos, traçando planos estratégicos condizentes com princípios fundamentais de negócio.

Os profissionais acostumados a gerir processos, projetos e pessoas, fragmentaram o consumo da informação utilizando aparatos tecnológicos, a partir de outro elemento crucial para o sucesso de qualquer corporação: os dados.

Diversas empresas, que já nasceram digitais, buscam realizar integrações entre dispositivos e plataformas, através de dados, para prever serviços, direcionar produtos cada vez mais customizados e personalizados, que se conectem em diversas plataformas, dando para os usuários maior vantagem, benefício e exclusividade.

Porém, a grande maioria das empresas têm dados mas simplesmente não sabem como utilizá-los para uma melhor tomada de decisão.

Sobre isso, não se pode ignorar a contribuição que os dados exercem ao mundo digital. É necessário integrá-los o mais rápido possível nas organizações para minimizar problemas, melhorando e otimizando decisões e desempenho.

No entanto, algumas dúvidas ainda permeiam quando falamos desse assunto. Afinal, como capturar e transformar esses dados em informação?

O engenheiro de dados e um de nossos especialistas Dirlei Moreira desenvolveu esse artigo para esclarecer como os dados são fontes de informação valiosa as empresas na hora de aumentarem suas receitas através de vendas. Confira!

O que é Data warehouse, BI ou BigData

Consiste em um repositório , ou depósito de dados, que pode ter integração com diversos sistemas que apontam diretrizes nas decisões gerenciais, de acordo com dados históricos coletados, utilizado nas análises.

Esses dados contidos nos data Warehouse são agrupados em um depósito único de fácil acesso, para análises solicitadas contendo informações que aconteceram anteriormente.

O banco de dados de um data warehouse deve ser idealizado para processamento analítico online (OLAP) permitindo analisá-los profundamente em diversos ângulos e diferentes perspectivas, com ênfase na performance de recuperação das informações.

Esses insumos resultam em processos de decisão para os usuários finais, através de ferramentas que permitem encontrar problemas, hipóteses, oportunidades com mais facilidade, são os data mining.

Essas ferramentas são mais eficientes se usados em data smarts, pois estes são orientados a determinados assuntos específicos nas empresas.

Benefícios do Data warehouse, BI ou BigData:

Integração de dados de vários sistemas, permitindo visão abrangente de toda a operação, ainda mais quando uma empresa possui sistemas distintos de informações.

Mantém o histórico de dados completo, consolidando várias fontes;

Apresenta inteligência histórica da organização de forma consistente;

Melhor tomada de decisão oferecendo qualidade, constância e precisão dos dados;

Criação de uma padronização de códigos e descrições, identificando e corrigindo; dados ruins;

Padroniza e fornece um único modelo de dados para toda a organização, independente da fonte, seguindo as diretrizes do negócio;

Reestrutura os dados de modo a satisfazer as necessidades dos usuários do negócio;

Visão ampla e acesso simplificado aos dados, separa o processamento de análises dos bancos transacionais, elevando o nível de performance nos dois sistemas;

Contribui no processo de aplicações de negócio operacional, principalmente na gestão de relacionamento com clientes ( CRM).

Construindo o DW Através do ETL!

Digamos que setenta por cento desse trabalho, refere-se a engenharia de dados ( ETL, Tratamento, conexões, enriquecimento) daí em diante, entra a criação de dashboard ou aplicação de machine learning, sendo que, se os dados não estiverem bem estruturados e lapidados a chance de resultados errôneos é enorme.

Vamos lá!

O ETL (data integration ) é uma metodologia de dados dividido em três etapas: extração, transformação e carregamento utilizado para combinar dados de diversas fontes aplicados na construção de um ambiente de dados, sendo alimentado de maneira homogênea e precisa, servindo como base para uma tomada de decisão mais assertiva as empresas.

Sem o ETL não é possível capturar dados, muito menos transformá-los, afinal é necessário que essa ferramenta pegue esses dados de origem, convertendo em um formato que possa ser analisado, armazenado e posteriormente alocado em outro sistema.

As ferramentas de ETL conectam bancos de origem com repositórios, que permitem guardar informações de um dado em um único local, com métricas e modelos canônicos aplicados que propiciam uma visão única de informações.

Depois que o ETL conectou com o repositório, chegou a hora de realizar o tratamento interno, nesse caso é possível utilizá-lo em uma linguagem de programação para fazê-lo dentro do repositório ou realizar o próprio tratamento de dados usando a ferramenta de ETL.

Cada etapa contempla processos e padrões necessários, sendo desenhada meticulosamente no sucesso de transição dos dados dos sistemas para DW (data warehouse).

Para a construção do ETL usamos algumas metodologias. Veremos uma delas a seguir:

BI – Modelos de estruturas dados – Modelo estrela

A modelagem dos dados foi construída com base no modelo estrela, no qual todas as tabelas foram separadas entre fatos e dimensões, sendo:

Fato: Armazena os valores detalhados de medidas, fatos ou acontecimentos que se repetem inúmeras vezes. Exemplo faturamento das lojas.

Dimensão: Armazena os valores de cadastro e dados complementares, como nomes, endereço, cadastros de lojas etc.

Os fatos estão representados no BigQuery com a prefixo “FATO_”, e a dimensão estão representadas com o prefixo “DM_”.

A metodologia também emprega a utilização de schemas/bases para a separação dos dados e melhor organização, sendo:

DW: É a fonte de dados para consulta nas organizações, sendo a união de todos os Data Smarts já constituídos. Podemos caracterizá-lo como um repositório histórico, não volátil, dos fatos operacionais de uma organização, que podem ser vistos também como uma grande base de dados que apresenta diversos níveis sintéticos dos dados operacionais, cujo objetivo é fornecer informação estratégica integrada, que resulte em visão holística para a organização.

Exemplo:

Normalmente, é construída sob a forma de fatos (mensuráveis) e as dimensões sob as quais podem ser analisados (ex: as vendas da companhia na região nordeste foram de R$-1.000.000,00 no mês de maio/2003; onde o fato é valor das vendas e as dimensões são a região e o mês).

ODS: É uma base de dados integrada, volátil, de valores correntes, que contém somente dados detalhados. Também pode ser compreendida como uma visão integrada do mundo operacional. Normalmente sua construção adota bases de dados relacionais. Aqui é onde se pega essa carga e sempre incremento na ODS

STAGE: Também chamada como “camada de integração e transformação”, a SA é uma área de tratamento, padronização e transformação das informações operacionais para carga na arquitetura de dados BI (DW, ODS, DM). A área é a carga dos sistema legado, como por exemplo no sistema de origem.

Modelo estrela: uma dimensão na fato, tem outra dimensão?

Conecte-a na fato, sempre na fato. Na dimensão e numa fato, a premissa é nunca uni-la com outra fato, só é possível unir fato com dimensão e não ao contrário, a dimensão pode se conectar na fato.

Não se pode unir dimensão conectada na fato, ou dimensão conectada na dimensão, pois isso resulta em uma cascata. O snowflake, permite conectar dimensão com dimensão.

Depois de construído, chegou a hora de consumir/mostrar os dados.

Para isso usamos ferramentas de dashboards.

Dashboards

Dashboard é um painel visual que contém informações, métricas e indicadores da empresa. E essas informações devem ser representadas com fácil compreensão visual. Então, o mais comum é o uso de gráficos e tabelas para mostrar os indicadores e métricas.

Ferramenta dashboard Gartner 2020 Dashboard

Challenge – Leaders – Niche Players – Visionaries

Alguns exemplos de dashboards

Microsoft Power BI:

Tableau:

Conclusão e Resumo DW,BI :

O ETL é uma espinha dorsal que une e possibilita a integração de dados ao DW. O processo deve ser bem estruturado e cada vez mais fluido para evitar falhas suscetíveis de sistemas operacionais das empresas, ainda mais se pegarmos uma carga e a conectarmos no banco de produção.

Sendo assim, o DW atua como um catalisador que receberá as informações tratadas, com qualidade e grande valor, potencializando e apoiando decisões organizacionais para as pessoas.

Segue abaixo uma visualização total de como seria um ambiente de BI e Big Data