OS 5 PASSOS PARA ORGANIZAR SEU DATALAKE | Data Engineering

[@washingtonholandadeoliveir4784]

Gostaria de dar os parabéns pelo vídeo! Vi que já faz 1 ano desde o último vídeo no canal e queria dizer que seu conteúdo é ótimo e espero que volte a gravar mais vídeos sobre a área. Estou desenvolvendo meu TCC da faculdade na área e esse vídeo foi uma porta de entrada pra eu começar a entender melhor o assunto e me aprofundar mais no meu tema! Muito obrigado pelo vídeo, de coração, tenho ctz que muitos assim como eu compreenderam um pouco melhor o assunto graças aos seus vídeos!

Muito bom conteúdo, parabéns!

[@frankribeiroandrade4940]

Show! Parabéns!

[@DaniloDonizetiSantos]

Excelente vídeo. Muito obrigado e parabéns!

[@mauriciomodestotoscanbrand7008]

Obrigado

[@josepaulo9054]

Vitor, boa noite, excelente iniciativa e voce está de parabens. Queria tirar uma duvida que a escrevo abaixo: Voce citou as 3 grandes areas: Inbound Zone , Raw Zone e Trusted Zone. Imaginando uma empresa que vende serviços e os mesmo são comercializados pelo Magazine Luiza, Extra, Pão de Açucar e Lojas CEM e o processo para todas e a seguinte: 1 - Diariamente elas postam suas vendas e cada uma em seu forte:planilhas, CSV e TXT e esses arquivos cairiam na Inbound Zone. 2 - Na manha seguinte, esses arquivos seriam ingeridos e carregados na area da Raw Zone. 3 - No final da ingestão na area da Raw Zone e iniciado o processo para gerar os arquivos parquet na Trusted Zone. E ai vem a duvida, vamos iomagina que eu tenho um registro com informações de vendas, itens de vendas e dados dos compradores, tudo isso estará no formato parquet na Trusted Zone e posteriormente eu quero gerar informações como por exemplo produtos vendidos por faixa etaria, estado civil e sexo do comprador e como produto final eu teria uma Fato de Vendas com as suas dimensões. Na sua visão tudo isso poderia ficar na Trusted Zone e faria sentido ter uma tabela Fato Vendas e suas dimensões? E outro ponto caso voce tenha ou conheça cursos a respeito desse tema, peço a gentileza de informar-me, abaixo deixo o meu e-mail para contato. E para os demais integrantes do grupo, eu tenho muita saudades de 20 anos atrás , pois formavamos grupos e nos reuniamos para falar a resdpeito de assunto de interesse comum, como é o caso de Data Lake e hoje fala-se muito a respeito de Lak House e creio que essa duvida que eu tenho, deve ser a duvida de algumas pessoas. E aquela famosa frase, juntos somos mais fortes. Grande abraço Vitor e mais uma vez Parabens pela sua iniciativa.

[@anasaravia9397]

Parabéns pelo vídeo, mto esclarecedor e didático!

[@MarioBevenuto]

Show… muito obrigado

[@patriciadelima_]

Ótima didática!

[@felipef6300]

Excelente ! Parabéns, didática mil !

[@zeneto2157]

Colega, existem drivers (jdbc e outros de bancos de dados) que fazem a conexão e import tanto de arquivos em diversos formatos quanto de outros SGBDs. Tvz fosse o caso de criar rotinas que tanto trabalhasse o dados fora da camada do banco quando uma transformação destes dados dentro de uma staging area, usando linguagens procedurais e SQL mesmo. Desculpe, sou meio purista em relação aos dados pois sou DBA oracle e tudo penso em usar um SGBD como solução final.

[@gustavorocha9774]

Muito top!!! 👏🏻

[@gabrielfigueiredo6037]

Conteúdo sensacional!! Amigo, você poderia me indicar um livro que possua esse assunto?

[@EvandroLuisAlves]

Excelente vídeo, muito obrigado!! Uma pergunta: esta divisão em "zonas" e áres de negócio não faz o datalake ser o mesmo que um data mesh? Outra dúvida: nesse processo de tirar da zona "inboud" para a "trusted" é como se eu tivesse no meu datalake três arquivos/conjunto de arquivos referentes ao mesmo dado, certo? Ele fica, de certa forma, triplicado na nuvem, certo?

[@biomelo8501]

Show! Inscrito!

[@josegeraldocoutinho5011]

Olá, quais são os autores de referência sobre o assunto DATA LAKE ?