Como criar laços de repetição (loopings), usando Pentaho Data Integration (PDI)

Dê uma conferida nos produtos que lançamos em nossa loja virtual ;)
loja.devanalyt...
Fala pessoal, tudo bem?
Hoje o tema será a criação de laços de repetição (loopings), usando o Pentaho Data Integration (PDI).
Neste vídeo, vamos entender como podemos usar jobs e transformations para implementar loopings, nos quais podem ser utilizados para várias tarefas de ETL, incluindo consultas a APIs paginadas.
Inclusive, se você quer ver o tema API paginada com PDI, estou lançando um desafio. Eu irei gravar um vídeo com este tema assim que chegarmos a 100 likes e 1000 views neste vídeo.
Por isso, dê o like e compartilhe este vídeo a mais pessoas que se interessem neste assunto :)
--------------------- LIVROS --------------------
Livro - Excel básico para o mundo do trabalho - amzn.to/3zNnFOR
Livro - Storytelling com Dados - amzn.to/4bOc8fA
Livro - SQL Para Análise de Dados: Técnicas Avançadas Para Transformar Dados em Insights - amzn.to/3LxkqxD
Livro - Microsoft Power BI: Gráficos, Banco de Dados e Configuração de Relatórios - amzn.to/3WtLKmP
Livro - Python Para Análise de Dados: Tratamento de Dados com Pandas, NumPy & Jupyter - amzn.to/3W9lixh
------------------------------------------------------
------------ MEUS CURSOS --------------
SQL Server para iniciantes - cursos.dankico...
Curso de Introdução à Analytics Engineer - cursos.dankico...
------------------------------------------------------
Seja membro deste canal e aproveite as vantagens:
/ @devanalytics
--------------- Social Media ---------------
Perfis Pessoais
Instagram: / rphpacheco
LinkedIn: / raphael-pacheco-702a3b49
Perfis devAnalytics
Instagram : / devanalytics
Facebook : / devandanalytics
NÃO CLIQUE AQUI: bit.ly/2OqmhXD

[@jeffia.7542]

Sensacional este conteúdo e explicação, parabéns.

[@DevAnalytics]

Muitíssimo obrigado, Jeffi! 👍🏻👍🏻👍🏻

[@kayorenato]

Fala Raphael, Obrigado Mano por ter compartilhado esse conteúdo conosco. Espero que em breve você possa trazer mais coisas sobre PDI. vlw 🤟🏼

[@DevAnalytics]

Gratidão, Kayo! Em breve teremos sim!

[@afonso0078]

Melhor conteúdo de LOOPs no PDI que ja vi. Sensacional este vídeo. Parabéns.

[@DevAnalytics]

Muito obrigado, Afonso!!!!

[@OkadaRAP4PC]

Cara. Parabens pelo Video, muito bem feito, demonstrou muito bem como fazer esse loop. Ja consegui aplicar na minha necessidade. Contine a gravar videos de conteudo relevante como esses.

[@denisbrunomoraisneves2471]

Que canal bom cara, parabens!! ganhou mais 1 inscrito.

[@DevAnalytics]

Muito obrigado, Denis 👍🏻👍🏻👍🏻

[@andredeoliveira3684]

parabéns! muito didático. precisamos de mais conteúdos assim

[@DevAnalytics]

Muito obrigado, André! Sempre que tenho um tempo de sobra, tento levar um pouco de conhecimento ao canal ;) Pode deixar que a dica foi anotada aqui!

[@jaff1799]

Muito bom

[@meemeemaung8441]

thanks it's useful and solving my issue really thanks :)

[@DevAnalytics]

Glad to know that this content was useful to you :)

[@silviobuttenbender6386]

Obrigado por compartilhar! Show a explicação, Mais um inscrito!

[@DevAnalytics]

Muito obrigado, Silvio!

[@paulorobertocardosonogueir172]

Top demais.. como sempre!

[@felipefrancisco01]

WoW!! Muito bom!!

[@1plus1]

can we do LOOP without WAIT-step? Sometimes, when I download data for example filtered by date, I never know when download finishes It can take from 30 to 40 minutes.

[@DevAnalytics]

The Wait-step is used so that Pentaho can better manage the state changes of the variables used in the looping. You can even remove this step, but I don't recommend it.

[@rodrigovasconcelos2648]

TOP!!!

[@raphaelsantosdadeskmanager4668]

Conteúdo sensacional se me permite dar uma dica, se for com SHIFT para o outro campo ele liga o HOP sem precisar clicar com o Direito :),

[@DevAnalytics]

Muito obrigado pela dica, Raphael ;)

[@ecioferreira]

Top

[@DevAnalytics]

Muito obrigado, Ecio! Abraços!

[@marcosgois4296]

Parabens muito boa explicação e conteúdo, os problemas de deram, certeza que é aquele velho amigo nosso JAVA kkk, se alguém pensa em explicar o que acontece, nem o mestre dos magos saberia dizer, fecha a aplicação reinicia o computador e sucesso kkk

[@DevAnalytics]

hahahahaha, o java sempre quebrando cabeças :D

[@maricelmomaricelmo2676]

Ola, achei bastante interessante este video. Exatamente o que estava procurando. Poderia disponibizar estes arquivos? fiz o passo a passo com as data e entrou no loop infinito.

[@ramk5868]

wish this was in english too atleast subtitles

[@DevAnalytics]

You can currently use the automatic translation of KZbin itself. For some terms it doesn't work so well, but in general you can understand the concepts covered ;)

[@gppbr]

Como passar essa variável para uma instrução SQL?

[@DevAnalytics]

Fala Nelson, tudo certo? Você poderá usar o ${nomedavariavel} dentro da instrução SQL 👍🏻

Mestre, como posso colocar o valor da variável ${LOOP} dentro de um generate rows? Eu tenho uma URL API que eu preciso determinar o número da página que eu quero acessar, pois a API só carrega 100 registros por vez.. Grande abraço e parabéns pela aula!

[@DevAnalytics]

Fala Léo, tudo certo? Existem, normalmente, 3 tipos de APIs, as que retornam os valores sobre o total de páginas e total de registros da base (esta é fácil, pois é só montar um looping a partir destas informações), a outra é as que enviam um link na resposta com a próxima página (esta vc precisará realizar o looping enquanto ainda houver um link de próxima página) e por último as que não dão nenhuma destas informações, mas pelo menos sabemos a quantidade máxima de registros por página (neste caso vc fará o looping até que o total de registros da requisição atual for menor que o total máximo de registros por página). Bom, é isso. Espero ter lhe ajudado! Forte abraço!

​@@DevAnalytics Obrigado mestre... Vou dar uma pesquisada mais a fundo como aplicar essas regras nos steps do Pentaho. Me ajudou sim, grande abraço!

[@claudioroberto8129]

Cara, onde encontro a documentação com os steps do Pentaho? Valeu pelo vídeo.

[@DevAnalytics]

Fala Claudio! Tudo certo? No próprio site da Hitachi Vantara ;) Segue o link help.hitachivantara.com Abs!

[@ciceromaia]

Parabens, mas tenho uma duvida, veja se pode me ajudar, fiz um input do excel, mas os campos de data vem no formato numerico (exe:44686 = 05/05/2022), mas como formatar em data dd/mm/yyyy?

[@DevAnalytics]

Muito obrigado, Prof. Cícero Maia! Sobre sua dúvida, o padrão inteiro empregado em planilhas do Excel não costumam ser utilizado por muitas tecnologias e por isso ele acaba realmente sendo uma pedrinha no sapato de muitos fluxos. O pentaho lida muito bem com datas em formatos string, timestamp, unix timestampo, porém, para este padrão de data isso é realmente um desafio. Sugestão, criar uma coluna em seu arquivo excel, do qual receba a formatação no padrão DD/MM/YYYY e fazer o PDI considerar este campo ;) Um forte abraço!

[@ciceromaia]

@@DevAnalytics , Grande Rafael, grato pelo retorno e sua atenção, realmente este formato de data real (valor numerico) no excel é um problema para algumas ferramentas, mas assim, hj vou ter 10 arquivos que até posso fazer na mao, mas este voluma vai aumentar e vai ficar bem complicado fazer isto na mao, poderia tambem automatizar usto em uma rotina em vba, mas teria que carregar um excel para ler os outros excel e só depois fazer os input no pentaho, vou procurar outra solução, mesmo assim grato pela atenção e bons videos.