Buscando dados de uma API usando o PDI

[@dissonancia_cognitiva]

PARABÉNS!!!!!!

[@aresende001]

Muito bom, obrigado pela dica.

[@DevAnalytics]

Eu que agradeço por estar aqui conosco, André 🤜🏻🤛🏻

[@33larusso]

Muito top man.

[@heberruas9708]

Conteúdo top, obrigado pela disponibilidade que Deus te abençoe!

[@moisesarruda5373]

Apache hop deu certo, boa

[@DevAnalytics]

Opa, anotada a dica, Mioses! Obrigado pela participação ;)

[@BiancaAmorimMelo]

Muitíssimo obrigada! Quebrou muito o galho aqui.

[@DevAnalytics]

Gratidão, Bianca!

[@andredeoliveira3684]

parabéns! muito didático

[@DevAnalytics]

Muito obrigado, André!

[@traducoesbrazildvd]

Realmente sua didática é muito top parabens, pois mais conteúdos assim de PDI

[@DevAnalytics]

Muito obrigado, David! 👍🏻👍🏻👍🏻

[@marcelomedeiros2753]

Mto bom, parabéns

[@DevAnalytics]

Valeu mesmo, Marcelo!

[@vitoramarante2694]

Só tenho a agradecer a cada dica valiosa que tenho aprendido neste canal. Muito obrigado!!

[@DevAnalytics]

Muito obrigado, Vitor! É uma grande satisfação ter este tipo de feedback 👍👍👍

[@joaobritonascimento]

Show

[@Casdias]

Mestre, você poderia dar andamento nas aulas com o pdi, utilizando estes dados da COVID-19. É algo super atual e ainda ensina a ferramenta

[@voalaconjuntoceara]

excelente didática. valeu

[@DevAnalytics]

Valeu, Jairo! Tmj 🤘🏻🤘🏻🤘🏻

[@claudeirjose9634]

Parabéns, excelente conteúdo, poderia(futuramente) dar algum exemplo de passagem de parametros, TOKEN, Authentication??? Seria muito legal. E mais uma vez parabéns pelo canal, ótimo conteúdo.

[@DevAnalytics]

Muito obrigado, Claudeir! Anotada a sugestão 👊🏻

[@felipematheus1306]

estou precisando deste exemplo, vc conseguiu algum?

[@victorleal18]

Ótimo conteúdo! Aguardamos mais vídeos do PDI

[@DiegoSantos-id8qx]

Você tem um curso complete de pentaho? estou com dificuldade de construir as requisições no step Modified JavaScript value

[@DevAnalytics]

Fala Diego, tudo certo? Infelizmente não temos um curso de Pentaho. Mas recomendo muito os cursos do Rafael Arruda ;) Um forte abraço!

[@pablogarciarocco273]

Pra mim o melhor vídeo desse conteúdo! Parabéns. Teria como mostrar como podemos fazer quando há dois tokens para acessar os dados? Agradecido!

[@philipemorais3594]

Parabéns pelo conteúdo, tem pouco material de Pentaho aqui no KZbin, o PDI realmente é uma excelente ferramenta. Traz mais coisa boa pra gente ai, abordando a ferramenta. Vlw...

[@DevAnalytics]

Obrigado Philipe! Pode deixar que iremos trazer mais conteúdo sobre PDI aqui no canal 👍

[@murilovideo]

Muito bom conteúdo! Obrigado. Uma dúvida: No caso de JSON aninhado, em que tenho que percorrer no próprio JSON, usando seu exemplo, qual step eu poderia usar? Ou é mais complicado ler esse tipo de JSON?

[@DevAnalytics]

Fala Murilo, tudo certo? Podes usar o json input, onde cada nível do json usarás o ponto para descer o nível. Ex: tens a chave addresses, onde dentro dela tem street e neighborhood, então podes mapear os campos dentro do json input como $addresses.street e $addresses.neighborhood 👍

[@pollynewermelinger2030]

Oii, Raphael, tudo bem? Sendo API, aonde a gente informa o app_key e o app_secret? A gente informa no Generate rows e depois colocar em qual lugar para puxar, por gentileza? E a call, onde a gente informa?

[@DevAnalytics]

Olá Pollyne! O app_Key e app_secret poderiam ser utilizados no Generate Rows é usado na chamada da API como um header. Já o call, poderias utilizar json input. Estou pensando em trazer mais conteúdo futuramente sobre PDI, assim que voltar às atividades do canal 👍🏻

[@marcosoliveira8731]

Essa demo foi bem bacana cara! Vlw

[@caiuafranca2203]

Muito Bom, parabéns o PDI uso diariamente para automatizar algumas rotinas. :)

[@haynersan]

Show! Excelente!

[@MarcosPaulodaRosa-nz8zo]

Tem como tratar os dados para não virem linhas duplicadas? Estou consumindo uma API do BC e está vindo a a mesma linha...

[@DevAnalytics]

Você pode usar um step Unique Rows para tratar deste caso 👍🏻👍🏻👍🏻

[@LuizNotari]

Parabéns excelente didatica e video.

[@diegoyuan5903]

Ótimo conteúdo, parabéns!!!

[@gabrielbrandao1380]

Fala Raphael, tudo beleza?? Ótimo vídeo como sempre, parabéns pelo trabalho! Cara, estou bom uma baita dificuldade em fazer uma medida de variação diária no power BI. Sabe indicar onde consigo encontrar uma solução pra isso?

[@DevAnalytics]

Obrigado Gabriel! Sobre a variação, você basicamente poderá considerar a seguinte equação: (VF/VI - 1) * 100, onde VF é o valor final, ou seja, o valor do dia atual e VI é o valor inicial, que por sua vez é o valor do dia anterior (onde podes usar a função DAX PREVIOUSDAY para pegar o dia anterior) 👍

[@LuizNotari]

Pegeui a versão 9.1.00.324 em 19/01/2021, o Java JRE 8 atualização 271, colocoei as variaveis de ambiente já tinha por algum motivo a variavel do sistema path C:\Program Files (x86)\Common Files\Oracle\Java\javapath que aparentemente leva para a mesma, que igualmente acrescentei C:\Program Files\Java\jre1.8.0_271\bin resolvido isso de resto foi idem video.

[@afonso0078]

Ótimo vídeo! Parabéns pelo conteúdo!!!! Futuramente você pode disponibilizar um exemplo de chamada no pentaho com api paginada? Fiquei muito interessado neste tema.

[@DevAnalytics]

Obrigado, Afonso! Teremos isso em breve no canal ;)

[@darkmistperfferle]

Show de bola ...

[@OculoseBinoculos]

Magnífico! Raphael, depois de criar o fluxo, como você criou, e depois exportou para um xls, é possível salvar diretamente em um banco de dados? Tipo , fazer uma carga num banco de dados?

[@DevAnalytics]

Sim, Amauri! É possível fazer o input dos dados em um banco de dados. É só utilizar o step table output, configurar a conexão com o banco e mapear os campos que irão ser preenchidos na tabela de sua preferência 👍🏻👍🏻👍🏻

[@dra.lilianpaiva1887]

Como instalou o PDI no macbook?

[@DevAnalytics]

Olá Lilian! Se eu seu Mac for um M1, você poderá conferir este artigo aqui. medium.com/@gabriella.mayang/how-to-install-and-open-pentaho-data-integration-on-macbook-m2-apple-silicon-4081c2875a02

[@wlisses-silva]

Como criar um Loop desses dados para ser atualizados diariamente?

[@DevAnalytics]

Fala Wlisses! Você pode fazer uma mescla dos conceitos que eu mostro neste vídeo kzbin.info/www/bejne/b3itZaprjtioY68 Com os da API. A ideia é criares uma lista de datas, onde possas fazer um looping sobre elas e para cada ciclo você faz uma requisição na API, passando o filtro da data correspondente. Logo teremos um vídeo mostrando isso na prática ;)

[@claudioroberto8129]

Cara vc tem uma excelente didática e fala sobre um assunto que é raro de ser encontrado em Português. Você tem pretensões de falar mais sobre o Pentaho criando uma playlist , por exemplo? Valeu!

[@DevAnalytics]

Muito obrigado, Claudio!!! Pretendo criar uma playlist de pentaho no canal ;) Porém este ano tem sido bem corrido e por isso me faltou um pouco de tempo para organizar estas coisas no canal. Mas as coisas estão começando a se estabilizar e em breve teremos novidades :)

[@marcossamuel8764]

Excelente conteúdo!

[@jagpaco]

Muito bom video! Estou tentando fazer uma conexão em uma api, que tem um token de acesso , como alteraria a configuração, desde já agradeço

[@DevAnalytics]

Fala Francisco, tudo bem? Você precisaria verificar na documentação da API qual o tipo de token deve ser usado. Normalmente é o Bearer Token, onde você pode passar uma configuração na requisição, setando o header Authorization=Bearer . Espero ter lhe ajudado! Um forte abraço!

[@alexandrenordin106]

grande conteudo, obrigado mestre, estou começando com pentaho, vc .inistra ou indica algum treinamento?

[@DevAnalytics]

Fala Alexandre, tudo certo? Eu não ministro curso de Pentaho no momento, estou produzindo cursos voltados para Power BI e DBT. Mas procure se informar pelo curso do Rafael Arruda, do qual ele é fera em Pentaho ;) Segue o link do curso go.hotmart.com/P38646231O?dp=1 Um forte Abraço!

[@rogerionogueiraborges1049]

TOP como sempre....parabéns mestre!!

[@jorgitopaiva9409]

Bacana o conteúdo, porém é possível conectar a uma API que necessita de um token de autenticação e o envio de doi parâmetros? Data Inicial e Data Final

[@DevAnalytics]

Obrigado Jorgito! Sim, é possível passar tokens, parâmetros de todos os tipos, inclusive data. Em breve irei compartilhar conteúdos com este tipo de situação 🤜🏻🤛🏻

[@guaracifalcao]

Show... mas se eu puxar de uma API paginada, tenho de criar um looping com variáveis para puxar os dados por página, correto? daí como saber quando terminaram as páginas?

[@DevAnalytics]

Fala Guaraci, tudo certo? Depende do que a API retorna. Normalmente eles retornam o número de registros da base. Neste caso, vc poderá, a partir desta informação e da informação sobre o números de registros por página, definir quantas páginas precisas iterar para terminar o processo. Se não tiver esta informação, vais precisar monitorar em seu looping a quantidade de registros retornados, onde o looping irá acabar quando a quantidade de registros for menor a quantidade de itens por página ;) Espero ter lhe ajudado! Um forte abraço!

[@guaracifalcao]

@@DevAnalytics Agradeço muito pela resposta. Daria para fazer um processo mais elegante com Evaluation e variáveis vindas da current_page e total_pages, mas pelo não consigo acessar com JSON Input.. no site JSON PathFinder quando eu colo o retorno da API ele nem enxerga no final da estrutura o campo "metadata": { "pagination": { "total_pages": INT, "current_page": INT } }... tem algum componente no Pentaho que consegue acessar esta propriedade vindo do REST?

[@oseasribeiro5562]

Amigão, estou precisando criar uma API do pentaho para ser consumida no google data studio, como eu deve fazer ?

[@DevAnalytics]

Fala Oseas, tudo certo? Eu não entendi direito, vc quer criar uma API, ou quer consumir uma API? Se for a segunda opção, vc poderá usar os conceitos que passei neste vídeo, mas gravando os dados em um banco de dados e fazer com que o DataStudio consuma este banco. No caso do DataStudio é bem provável que tenha que ser um banco dentro da GCP 👍

[@ramonneto9839]

ótimo vídeo!! Alguém tem alguma sugestão de como conciliar os dados do zendeks com Power BI? quando busco os dados, estou tendo dificuldade com a limitação de 1000 linhas do BI

[@DevAnalytics]

Fala Ramon, Tudo certo? No vídeo kzbin.info/www/bejne/qp_Vd4yQibF_i9E eu inicio uma série onde realizamos a paginação de uma API usando um fluxo incremental de dados. Como vc mencionou que o uso dos dados da API do Zendesk será feito pelo Power BI, recomendo que veja esta série, pois dependendo do tamanho da base, você precisará pensar em algo incremental, caso não queiras que a performance de carga seja afetada. De qualquer forma, o indicado para estes fluxos é seguir com ferramentas de ETL, onde poderás criar um DW ou algo do tipo ;)

[@adriel0792]

Muito legal!

[@LuizNotari]

Raphael veja se pode me ajudar. Preciso buscar e também gravar dados em uma API, para acessar preciso passar via Post "Url": "sample string 1", "Email": "sample string 2", "Password": "sample string 3" e assim obtenho um acess_token, token_type bearer depois de fazer isso preciso via get e outra url passar o token para obter os dados usando authorization bearer e a string do token, a inclusão desses parametros é no pentaho e consegue me dar os passos API Rest JSon de resto idem do teu video. Grato

[@DevAnalytics]

Fala Luiz, tudo certo? Pelo o que entendi, você precisa fazer uma conexão em uma API OAuth2. Sugiro criares jobs separados para cada tipo de requisição (obtenção token e request dos dados). Podes usar variáveis globais para que cada job possa ter acesso a elas, garantindo a automatização do processo ;)

[@LuizNotari]

@@DevAnalytics Grato, fiz isso e deu certo.

[@zenilsonfelipe3816]

Alguém aqui já pegou um caso em que a API já retorna um XLSX?

[@DevAnalytics]

Fala Zenilson. Sim, podes usar as funções do M para excel para tratar isso, mas neste caso, sugiro utilizares Python, pois ele irá lidar melhor com essa situação ;)

[@maricelmomaricelmo2676]

Realmente muito bom! porem me tira uma duvida: como faço para utilizar uma API rest com metodo POST, e em seguida usar o metodo GET. preciso enviar um parametro de login e senha na qual me retorna um token, este token devera ser usado em todos os metodos get.

[@cleitonconceicao7407]

man, tu sabe como enviar parâmetros via post?