Apache Nifi: Consumindo uma API e Salvando no Banco de Dados

[@talimp]

Muito obrigada pelo video! Era exatamente o que eu precisava para fazer funcionar minha integração. Estou começando a trabalhar com o Nifi e apanhei bastante kkk! 😄

[@renato-coelho]

Ficou feliz que tenha ajudado.

[@lindberggualbertoferreira9372]

Parabéns! Excelente conteudo! Simples e perfeito!

[@renato-coelho]

Obrigado!

[@ren.sou777]

Ótima utilização 🔝🔝🔝

[@renato-coelho]

Fico feliz que tenha gostado.

[@diegobotelho8227]

Muito bom seus conteudos! estou com uma dificudade usava a versão 1.19 e instalei a 2.0.0-M4 mas Database Connection Pooling Service não lista os Controller criados..alguma ideia ?

[@renato-coelho]

Opa, que bom que vc gosta dos meus conteúdos. Então, já tive esse problema em outros controller services e a solução que achei foi baixar uma nova imagem do nifi do docker hub e fazer o deploy novamente via docker compose, se estiver usando o docker/docker compose antes de subir um novo container executa os comandos "docker system prune --all -f" e "docker volume prune --all -f", isso vai limpar tudo que não esteja em uso no seu Docker.

[@alexandremenezes100]

Boa tarde Renato, excelente apresentação e didática. Qual stack você indicaria para estudantes que estão começando na área de Data Engineering?

[@renato-coelho]

Fala, Alexandre. Então, dar dicas sobre uma Stack é um assunto complicado, mas uma sugestão que dou para colegas e alunos é já ir para a nuvem, pois já é uma realidade. Pode ser qualquer uma, como AWS, GCP, entre outras. Agora, um ponto importante antes de ingressar na nuvem é ter conhecimento básico de estrutura de dados, Linux, SQL, NoSQL, dominar uma determinada linguagem de programação, entender sobre protocolos de comunicação e ter conhecimento sobre o funcionamento de APIs. Vejo isso como um bom caminho para quem quer começar ou já começou na área de engenharia de dados.

[@TheRikie1]

Parabéns, tenho uma pergunta. Como o nifi sabe quais atributos povoar no PutDatabaseRecords? Caso eu queira povoar atributos especifico, como faço?

[@renato-coelho]

Que bom que gostou. Então, nesse caso o "PutDatabaseRecords" está se baseando nos atributos existentes no flowfile que é um JSON, aí esses atributos do JSON devem ter as mesmas nomenclaturas das colunas da tabela onde vai ser gravada, mas isso não significa que vc tenha que passar todos os atributos existentes na tabela, mas lá na tabela os atributos ausentes devem permitir NULL aí nesse caso vc não precisa enviá-los. Sobre os atributos do flowfile você consegue reconstruir um novo flowfile JSON usando o "EvaluatePathJSON" e "UpdateAttribute" para mapear/modificar os valores ou criar novos, e depois usando "AttributesToJSON" para criar um novo flowfile e poder enviar ele pro banco de dados.

[@TheRikie1]

@@renato-coelho MUITO OBRIGADO, vou testar aqui

[@CristianeSiandes]

👏👏👏👏👏

[@renato-coelho]

Que bom que gostou!