Pentaho - Transformações Simples

[@guiaugustus2105]

Vim pelo grupo de ETL, me impressionei com a facilidade do Pentaho, parabéns pela iniciativa e boa didática.

[@eltonguilherme7048]

Maravilha!! Justamente o que eu estava procurando!! Valeu!

[@ediporodrigues9433]

Cara, que aula sensacional. Valeu! Espero que continue com a sequencia de vídeos, to cansado de fazer ETL no PBI e perder performance. kkk Abraço!

[@rogerionogueiraborges1049]

Show de bola meu amigo..PARABÉNS!!!

[@karlosbung5056]

Vídeo mto legal! Você tem uma ótima didática, faça mais amigo =)

[@douglasposo]

Obrigado Karlos! Estou me programando para voltar a fazer

[@andersoncarv2009]

Excelente explicaçao. Parabens!

[@andredeoliveira3684]

Parabéns! muito didática sua explicação continue postando

[@msmotabr]

Parabéns pela iniciativa. Seria interessante disponibilizar um link com os arquivos utilizados nos exemplos, para que pudessemos realizar o laboratório também.

[@douglasposo]

Obrigado Marcelino, vou tentar disponibilizar os arquivos

[@rmedeirosguimaraes]

Parabéns! Bom vídeo!

[@cristianoltfs]

Excelente material, muito obrigado. Parabéns.

[@rafaelg8238]

Ola Douglas, parabens pela iniciativa. Continue contribuindo. Estou vindo do power bi pra aprender pentaho e conheci seu canal. Uma sugestao se me permite, é disponibilizar o arquivo para irmos aprendendo e executando juntos. Obriagdo e parabens

[@marioscoops]

Top meu caro

[@kariakane]

Parabéns muito bom ❤

[@douglasposo]

Obrigado!

[@DomDiegoOliveira]

top Douglas!!!

[@leonardodias3379]

Muito bom conteúdo ! Estou iniciando no hop

[@douglasposo]

O HOP é uma excelente ferramenta! Continue estudando!

[@marcelofeliciani]

Muito legal ver um exemplo assim. Instalei o PDI a pouco, não sei nada. Quero aprender uma ferramenta para ETL. Sei usar o Power BI, até faz ETL, mas talvez tivesse que associar alguma outra ferramenta. Usar Hadoop e Spark talvez sejam mais adequados para Big Data. Abraço

[@douglasposo]

Obrigado Marcelo. A curva de aprendizado do Pentaho é pequena. Ele também trabalha com Big Data. Mas cada caso é um caso. Continue seguindo o canal que toda semana tem vídeos novos.

[@lucianapinheirofurquim7335]

Muito Bom! Obrigada!

[@BrunathaBr]

Muito boa essa aula

[@douglasposo]

Obrigado Brunatha

[@joanadarcpereiracardoso7878]

Excelente conteúdo!! Muito obrigada!

[@jefersonvalentim7809]

Oh, fui o primeiro a dar o like ein

[@douglasposo]

Boa!!!! Obrigado Jeferson!!!

[@jacksonsfti]

Douglas, bacana o conteúdo, parabéns! Você não irá continuar com novos vídeos?

[@douglasposo]

Obrigado Jackson! Estou me organizando para voltar a postar. Logo logo eu volto

[@alvarocsoares09]

Muito bom o tutorial. Você tem algum explicando como ler uma tabela de um SQL Server e gravar em um banco de dados Oracle ?

[@douglasposo]

Infelizmente este eu nao tenho

[@douglasposo]

Este eu não tenho

[@alocomotiva4814]

Muito boa a aula. Muito obrigado. Tem como eu alterar uma coluna inteira para colocar apenas o número 1 em todas as linhas?

[@douglasposo]

Que bom que gostou. Para o que você precisa use o step chamado Add constants. Com ele vc cria uma coluna e pode colocar um valor constante nele

[@almeidamentz]

Parabens Douglas Poso pela ajuda, tenho uma duvida e gostaria de saber se teria como importar dados em formato *.dbc

[@douglasposo]

Ola, tudo bom? Nunca fiz isso. Mas se der pra fazer isso em python você pode usar o componente de python pra fazer

[@claudiofernandes7428]

Show

[@WelitonEmanuel]

Uma dúvida. Que transformação uso para fazer uma união? Tenho as colunas cs_01, status_01, cs_02, status_02 etc... gostaria que estes campos ficassem em uma única coluna cs e status respectivamente. Adorei a aula! Parabéns.

[@douglasposo]

Olá Weliton, vc pode usar um componente chamado concat Fields

[@WelitonEmanuel]

@@douglasposo Acho que não expliquei direito. Não seria concatenar. Seria para cada campo cs_01, cs_02 fiquem em uma nova linha.

[@douglasposo]

Desculpe, entendi errado, rs. Use o step chamado row desnormalizer

[@LeonardoSantosdaMata]

tem algum vídeo sobre Kitchen: Automatiza Execução?

[@douglasposo]

Ola Leonardo. Não tenho nenhum vídeo sobre o assunto. Mas existe bastante conteudo sobre assunto. Se estiver com dúvidas de como fazer me avisa que te ajudo

[@joanadarcpereiracardoso7878]

Você deveria voltar a publicar mais vídeos!

[@adelioantonio4626]

Olá Douglas, tem como compartilhar o ficheiro que foi utilizado na aula?

[@douglasposo]

Ola Adelio, tudo bom? Me manda um email que eu te passo por la. [e-mail]

[@leandrobreda868]

Ótima aula Douglas. Sou novato no Pentaho e gostaria de saber se pode me ajudar com uma duvida. Tenho uma transformação que executa a cópia de 32 tabelas de Excel para uma base de dados (cada uma delas contém um componente de input de excel e outro de output table), no entanto devido ao tamanho que dos arquivos passei a ter problemas com estouro de memória. Já efetuei o aumento de memória do Spoon.bat (XMS e XMX), alocando 16 GB mas mesmo assim não esta rolando. Se eu executar separadamente cada uma das 32 importações que estão na mesma transformação esta tudo OK, mas quando executo a transformação inteira tenho o erro. Pergunta, existe algum componente na transformação que ordenadamente cada uma das 32 importações ? (só começa a próxima quando a anterior for finalizada).

[@douglasposo]

fala Leandro, tudo bom? Posso ajudar sim. Seguinte, no seu caso você pode usar um componente chamado "Block this step until steps finish". Este step faz com que os steps depois dele só sejam iniciados após o step que você configurou nele finalize. Desta forma você configura nele o ultimo step do processo anterior. Caso ainda tenha dúvidas pode me avisar

[@leandrobreda868]

@@douglasposo Boa tarde! agradeço muito o seu retorno, mas adicionei o step indicado, configurando ele com o último step do processamento anterior e ligando através de um hop no próximo step que gostaria que rodasse, mas não esta adiantando. Devo estar fazendo alguma coisa errada.

[@douglasposo]

Leandro me chama no linkedin. assim fica mais fácil de eu te ajudar www.linkedin.com/in/douglas-camargo-poso/

[@marcoacosta4]

Ola Prof. Indica algum curso de ETL para quem está começando?

[@douglasposo]

Ola Marco, eu sempre indico o curso do meu grande amigo Rafael Arruda. Mas além dele você também vai ter alguns cursros na udemy ou se preferir pode tomar aulas particulares comigo.

[@marcoacosta4]

@@douglasposo obrigado Douglas!

[@brunopahorcavalcantidemora2560]

Conteúdo toop em Douglas! Cara e se eu tenho uma coluna com nome completo e eu quero extrair somente o primeiro nome e o último nome, é possível?

[@douglasposo]

Obrigado Bruno. Neste caso você pode usar o step chamado "split fields"

[@brunopahorcavalcantidemora2560]

@@douglasposo Testei esse step, mas ainda não cheguei no resultado desejado, consegue ajudar?

[@douglasposo]

@@brunopahorcavalcantidemora2560 vou te chamar la no linkedin

[@osleylucio9804]

Boa tarde professor, uma duvida. Como que faço um join com algumas condição de um step? Exemplo: usar case When x = y etc ?

[@douglasposo]

Olá Osley, tudo bom? Você pode usar um step chamado Database Join nele vc consegue usar os campos ou parâmetros da transformação, basta usar o caractere ? Ex: Where campo = ? Na parte de baixo do step vc indica no combo box qual o campo irá substituir o ?

[@osleylucio9804]

@@douglasposo acordo todos os dias para estudar, amanhã cedo vou tentar, estou perguntando porque preciso buscar do pwer bi, o sql da empresa não deixa eu criar uma view, isso faz com que eu utilize o Pentaho (Sou novato nisso) faço as queries utilizando select dentro de seletc, mas não faço ideia como vou trabalhar isso no pentaho. Mas obrigado pela orientação, se um dia puder fazer um vídeo onde você coloca várias condições como se fosse um subselect, vai ajudar muito🙂

[@osleyluciodesouza4863]

Boa noite Douglas, sabe como buscamos os dados do GA4 para o Pentaho?

[@douglasposo]

Ola, tudo bom? o que seria este GA4? Um banco de dados?Uma API?

[@osleyluciodesouza4863]

@@douglasposo isso. Tipo, buscar os dados de GA4, conhece algum step e se sim, sabe como faz a configuração? não achei em lugar nenhum isso

[@douglasposo]

@@osleyluciodesouza4863 Não exite um step nativo no PDI para este GA4. Eu não conheço este sistema. Me diz o que ele é. è um banco de dados, uma API ou alguma outra coisa? Assim consigo te direcionar.

[@osleyluciodesouza4863]

@@douglasposo O GA4 é um novo tipo de propriedade ideal para o futuro das medições: Coleta dados de sites e apps para mostrar mais informações sobre a jornada do cliente. Uma vez tudo for configurado, você poderá acessar o GA4 por meio do painel principal do Google Analytics. Lá, você encontrará uma série de recursos e relatórios que fornecem insights valiosos sobre o desempenho do seu site e o comportamento dos usuários.

[@douglasposo]

@@osleyluciodesouza4863 . O que você precisa descobrir agora é como se conectar com este GA4. Provavelmnete ele deve ter alguma documentação que mostra como fazer a integração de dados. Depois que você descobrir isso traz aqui que ai eu consigo te ajudar. Como eu disse não conheço esta ferramenta nem como conectar com ela. Aguardo seu retorno!

[@GiroCritico360]

olá amigo, gostaria de saber se é possível usar o pentaho para extrair dados de um arquivo Txt com informações nao tabuladas (organizadas em colunas) e carregar num banco de dados de forma que as informações no banco esteja em colunas pre estabelecidas. exemplo, importar um diario oficial e no banco de dados ele estar separado por varas, é possível?

[@douglasposo]

Ola, é possível sim, porém. O arquivo TXT precisa ter algum tipo de estrutura. Normalmente arquivos texto são estruturados em colunas com um separador (.csv) ou então são arquivos posicionais. Ambos os casos podem ser trabalhados no pentaho e depois de fazer a leitura do arquivo você pode gravar em tabelas sem problemas.

[@GiroCritico360]

@@douglasposo Obrigado pelo esclarecimento, irei pesquisar mais sobre como fazer isso

[@biancafernandes7201]

Olá Douglas, Sou iniciante no Pentaho e queria saber qual seria o nome desse primeiro step que carrega os clientes? Eu tentei com o CSV file input mas ele retorna os itens assim: Codigo;Nome ;Sobrenome;Cargo;Vendedor;Estado .. Não fica configurado igual mostra no vídeo. Obrigada!!!

[@douglasposo]

Ola Bianca, tudo bom? O Nome do step é "Text file Input" . Peço desculpas pois no vídeo a configuração esta em português. se tiver mais dúvidas pode me chamar

[@biancafernandes7201]

@@douglasposo Oi Douglar, tudo e com você? Agora sim, deu super certoo!!! Muito obrigada pelo vídeo!! Ótima explicação, não pareeeeeee!! rs