Tudo começa com dados, portanto lembre-se de trabalhar e importar bancos de dados de diferentes formatos e origens. O engenheiro de dados e um de nossos especialistas Dirlei Moreira, preparou um artigo que explica como as ferramentas de ETL atendem às principais necessidades do negócio, quando armazenadas em repositórios de dados.
No contexto do Data Warehouse (DW) e Business Intelligence (BI) ouve-se falar muito sobre o processo de ETL. Essa sigla significa Extração, Transformação e Carga (em inglês Extract, Transform and Load) e consiste na sistematização do tratamento e limpeza dos dados, oriundos de diversos sistemas organizacionais (OLTP) para a inserção, geralmente, em um DW ou Data Mart.
Como se nota, nesse processo possui três etapas: A primeira é a extração (extract), a segunda a transformação (transform) e por fim, a carga (load). Cada uma delas possui grande importância para o sucesso da transição dos dados dos sistemas de origem para o DW.
Juntamente com o ETL se utiliza um modelo/metodologia de estrutura de dados, a seguir veremos mais detalhes.
Modelos de estruturas de dados
Os dados extraídos por um ETL podem ter formato e estrutura diferente, sendo que para a criação de um DW ou BI é necessário aplicar-se uma estrutura padrão nesses dados. Por isso, seja muito simples ou mais complexos, a correta modelagem é necessária para tornar o DW ou BI mais robusto, eficiente e confiável.
Os modelos de estrutura de dados são ferramentas que permitem demonstrar como serão construídas as estruturas de dados que darão suporte aos processos de negócios, como os dados estão organizados e quais os relacionamentos que pretendemos estabelecer entre eles, para isso também é importante que você conheça a normalização de Banco de Dados.
Nesse artigo vamos abordar a metodologia de dados chamado “Modelo estrela”.
O Star schema ou esquema em estrela é uma metodologia de modelagem de dados utilizada do desenho de um Data warehouse. Os dados são modelados em tabelas dimensionais ligadas a uma tabela de fatos. No “centro” da estrela, existe o que se chamou tabela de fatos, rodeada por tabelas auxiliares, chamadas de dimensões.
Abaixo segue mais detalhes e exemplos:
Fato: Armazena os valores detalhados de medidas, fatos ou acontecimentos que se repetem inúmeras vezes. Exemplo faturamento das lojas.
Dimensão: Armazena os valores de cadastro e dados complementares, como nomes, endereço cadastros de lojas etc.
A metodologia também emprega a utilização de schemas/bases para a separação dos dados e melhor organização, sendo:
DW: é a fonte de dados para consultas na organização, ou nada menos que a união de todos os Data Marts já constituídos. Caracteriza-o como um repositório histórico, não volátil, dos fatos operacionais de uma organização.
Pode ser visto também como uma grande base de dados que apresenta diversos níveis sintéticos dos dados operacionais, cujo objetivo maior é o de fornecer informação estratégica integrada, segundo uma visão holística da organização.
Normalmente, é construída sob a forma de fatos (mensuráveis) e as dimensões sob as quais podem ser analisados (ex: as vendas da companhia na região nordeste foram de R$ 1.000.000,00 no mês de maio/2003; onde o fato é valor das vendas e as dimensões são a região e o mês).
ODS: é uma base de dados integrada, volátil, de valores correntes, e que contém somente dados detalhados. Também pode ser entendido como uma visão integrada do mundo operacional. Normalmente sua construção adota bases de dados relacionais.
· STAGE: Também chamada como “camada de integração e transformação”, a SA é uma área de tratamento, padronização e transformação das informações operacionais para carga na arquitetura de dados BI (DW, ODS, DS).
Segue uma imagem para ilustrar e deixar mais claro a metodologia.
A modelagem de dados no ETL também é fundamental para uma boa qualidade dos dados, jobs de tratamento e criação de Modelo entidade, além do relacionamento (MER) no qual temos um exemplo no modelo acima.
MER
Desenvolvido em 1976, pelo cientista americano Peter Chen, o Modelo de Entidade Relacional, conhecido pelos engenheiros de software apenas como MER, nada mais é do que um conceito que descreve todas as entidades existentes no domínio de negócio, assim como, o modo como essas entidades se relacionam e as características de cada uma dessas entidades.
As entidades também recebem o nome de objetos, assim como, atributos são usados como sinônimos de características para o relacionamento de todas as partes de um Modelo de Entidade de Relacionamento.
O MER (Modelo de Entidade de Relacionamento) consiste em um banco de dados de um sistema, DW ou BI. O Mer é importante para que desenvolvedores ou o próprio cliente consigam fazer as amarrações entre a Fato e Dimensão corretamente.
Abaixo segue alguns exemplo de MER:
Em resumo é isso, o básico necessário para se construir um processo de ETL. Seguem algumas ferramentas disponíveis no Mercado para o processo de ETL.
Ferramentas de ETL
Podemos criar o ETL de diversas formas como por exemplo usando Python, Java ou alguma outra linguagem de programação. Entretanto, atualmente para dados a linguagem Python é muito utilizada, devido sua disponibilidade em diversas bibliotecas para ETL, tratamento de dados ou enriquecimento.
Também é possível criar o ETL por aplicações que não exigem saber uma linguagem de programação, as linguagens disponíveis no mercado são Open Sources e Pagas. Segue abaixo a listagem do Gartner de 2020 das ferramentas .
https://www.gartner.com/en/documents/3955823
Das ferramentas acima listadas, recomenda o Talend, que é um ferramenta Open Source bem intuitiva para a criação do ETL.
Segue um print de um JOB de ETL criado:
Outra ferramenta Open Source que não está na listagem de 2019, porém é muito boa é o Pentaho. Ficamos por aqui, espero que tenha ajudado um pouco a entender melhor o processo de ETL.
Fontes:
https://www.next4.com.br/o-que-e-mer-modelo-de-entidade-relacional-e-como-e-aplicado-no-meu-site/
https://www.portalgsti.com.br/2017/02/modelagem-de-dados-o-que-e-e-para-que-serve-para-um-dba.html
https://pt.wikipedia.org/wiki/Modelagem_de_dados
keto tuna salad https://ketodietplanus.com/
gay dating lake tahoe https://gaychatrooms.org/
paducah ky casual gay dating https://freegaychatnew.com/
chris aldrich dating naked gay https://gaydatingzz.com/
free asian gay dating website https://gaychatgay.com/
gay dating profile https://gaychatus.com/
gay dating rosemead https://datinggayservices.com/
bisexual dating gay man https://gayonlinedating.net/
eharmony gay dating https://gay-singles-dating.com/
gay russian dating scams https://gaydatingcanada.com/
mba essay writing service https://essaywritercentral.com/
writing a college application essay https://essayghostwriter.com/
college essay writing https://essaysnet.com/
writing a good college essay https://essaypoints.com/
pay someone to write my essay https://essaytag.com/
what to write a college essay about https://online2casino.com/
college essay writing help https://onlinecasinos4me.com/
free welcome bonus no deposit casino https://onlinecasinoad.com/
bingo casino online https://casinoonlinet.com/
best essay writing https://multiessay.com/
write your essay for you https://essaytodo.com/
custom writing essay https://student-essay.com/
what to write a college essay about https://buy1essay.com/
write my college essay https://dollaressays.com/
free online interactive sex games https://sex4games.com/
card sex games https://sexygamess.com/
sex games with girlfriend https://cybersexgames.net/
online casino websites https://casinoonlinek.com/
meadows casino online https://conline-casinos-hub.com/
keto pizza crust recipe https://ketogendiet.net/
keto broccoli cheddar soup https://ketogenicdietinfo.com/
keto foods https://ketogendiets.com/
write that essay https://topessayswriter.com/
writing a comparison essay https://yoursuperessay.com/
writing an essay about yourself https://checkyouressay.com/
nh gay dating https://gaysugardaddydatingsites.com/
hesi a2 critical thinking study guide https://criticalthinkinginstitute.com/
example of critical thinking in nursing https://criticalthinking2020.net/
critical thinking psychology examples https://uncriticalthinking.com/
classification essay examples https://choosevpn.net/
love essay https://topvpndeals.net/
transition words for essay https://vpnshroud.com/
essay on global warming https://vpnsrank.com/
good argumentative essay topics https://vpn4torrents.com/
essay in spanish https://windowsvpns.com/
1colonnade
1publications
gay dating site https://gaypridee.com
gay dating websites for kids https://gay-buddies.com
gay mature men dating site in california https://gayprideusa.com
gay dating in little rock https://speedgaydate.com
gay perv chat group https://bjsgaychatroom.info/
gay dating official site https://gaypridee.com/
gay chat rooms columbia sc https://gaytgpost.com/
gay chat washington https://gay-buddies.com/
which gay dating app? https://speedgaydate.com/
king kong slots https://2-free-slots.com/
slots with high volitality https://freeonlneslotmachine.com/
caesar slots free download https://pennyslotmachines.org/
slots plus bonus codes https://slot-machine-sale.com/
best way to win at slots https://beat-slot-machines.com/
online slots real money https://download-slot-machines.com/
free caesars slots online https://411slotmachine.com/
luckyland slots casino https://www-slotmachines.com/
play free lucky 777 slots https://slotmachinegameinfo.com/
dissertation help service proposal https://dissertationwriting-service.com/
writing a dissertation conclusion https://help-with-dissertations.com/
uk dissertation writing help quotes https://mydissertationwritinghelp.com/
professional dissertation help https://dissertations-writing.org/