A melhor ferramenta de migração de dados que já vi! (PENTAHO)

Hoje eu quero apresentar a vocês a melhor ferramenta de migração de dados que já conheci na vida! o Pentaho Data Integration!! É uma ferramenta muito simples de usar, e se conecta em vários bancos de dados, inclusive à arquivos texto, csv, etc!!
Tenham um ótimo vídeo! Forte abraço!!
Receba as próximas notificações no canal do Telegram: t.me/mqFirebir...
Grupo privado de estudos no face: / mqfirebirdsql
#mqfs #firebirdsql #firebird #database #sql

[@robertoduarte2785]

Cara que legal! Eu estava procurando uma ferramenta como esta. Que bom que existem pessoas como você que compartilham conhecimento! De coração agradeço muito, economizou muito do meu tempo! Parabéns! Deus te abençoe!

[@gerlondsonoliveira6793]

Ja assisti esse video 5 vezes e ainda me surpreendo com a qualidade de informação.

[@bytegomes]

nossa adorei ferramenta. fiz migração de cliente hoje. antes ficava dependo de pessoa. hoje graça você consegui fazer migração.

[@mqfs]

Opa, que top!! 💪🏻💪🏻💪🏻

[@marceloini]

Top demais, não conhecia essa ferramenta. Obrigado pelo conhecimento compartilhado Édson. É uma ferramenta incrível

[@mqfs]

Valeeeeu 💪🏻💪🏻💪🏻💪🏻

Ferramenta fantástica. Vi com mais detalhes que você pode ir criando condições para campos com tamanhos diferentes entre as tabelas (o que geralmente ocorre em uma migração), campos nulos que receberão outros valores por padrão, além é claro de quebras de chave... Dá para tratar tudo isso... Vou buscar mais informações sobre essa ferramenta... Gostei mesmo!!!

[@mqfs]

Exatamente!! Tem como fazer muito tratamento usando essa ferramenta, se não trata tudo, trata quase tudo

[@pcfava]

Sensasional! Não conhecia esta ferramenta e será extremamente útil para minhas migrações!

[@mqfs]

Shooow, esse Pentaho realmente é muito bom!

[@VictorMoak]

Show. Parabéns pelo conteúdo!!

[@mqfs]

Valeeeu!! 💪🏻💪🏻💪🏻

[@marcosrocha7586]

top de linha.. ultimo repasse que eu fiz eu importei as tabelas dbf pra dentro do meu banco firebird e fiz um execute block para jogar nas minhas tabelas.. funciona muito rapido tbm .. mas com certeza dessa forma e menos sofrido ..kkk obrigado por compartilhar !!

[@mqfs]

Hehehe, show de bola!!

[@toninhoeleoterio]

Ferramenta top demais!!! Muito obrigado mesmo!!! Vai salvar a vida aqui kkkkk !!! Valeu, excelente mesmo Professor!!!! Abração!!!

[@mqfs]

Hehehe, shooow de bola!!

[@genilsoncosta8892]

Top de linha, Parabéns!

[@mqfs]

Valeeeeu 💪🏻💪🏻💪🏻💪🏻

[@marcelomurteirapinheiro8787]

Parabéns, excelente vídeo. Obrigado pela dica

[@XgigabyteX1]

Muito bom parabéns pelo conteúdo mais uma vez

[@mqfs]

Valeeeeu 💪🏻💪🏻💪🏻💪🏻

[@bytegomes]

top de mais fiquei fã do canal.

[@mqfs]

hehehe, shooow!! valeu!!

[@franciliojralmeida5458]

Show

[@ticteste3528]

Muito bom sua explicação. Obrigado

[@jclevesan]

Excelente vídeo!! O Pentaho também faz CDC?

[@jeancandido6335]

Sensacional!

[@mqfs]

Valeeeeu!! 💪🏻💪🏻💪🏻💪🏻

[@luizclaudioperim202]

Muito bom mesmo ! ... Parabéns

[@mqfs]

Valeeeu 💪🏻💪🏻💪🏻

[@cristianopimenta3086]

top de mais, veio na hora certa ....

[@mqfs]

Shooow 💪🏻💪🏻💪🏻💪🏻

[@AnamariaAugustoFreeFire]

top mestre.

[@mqfs]

Valeeeu!! 💪🏻💪🏻💪🏻

[@dihogaav]

Muito bom, obrigado!

[@mqfs]

Valeeu!!

[@sefacilsistemas]

Parabéns pelo vídeo, nos ajudou muito!

[@josefranciscosilva7151]

Dica sensacional!

[@mqfs]

Valeeeeu 💪🏻💪🏻💪🏻💪🏻

[@Sinistroloko1988]

Top demais. Gostaria de ver como funciona na função de update.

[@renatotomikawa]

Mano, você é fera!!!

[@nixboaski]

muito bom, bastante claro

[@maxgama819]

Edson! Que ferramenta Maravilhosa! Eu tenho algumas dúvidas em relação a ela. Por exemplo, meu cliente tem um posto de atendimento e nesse posto eu tenho A MESMA estrutura da SEDE, então o desafio é somente levar os dados do Posto pra SEDE. Mas calma, SÃO N tabelas que tem as suas FKs... e tem um outro detalhe a tabela principal VAI TER que respeitar a numeração da SEDE. Então são dois desafios que o vídeo não mostra. Tem como de forma rápida ajudar o amigo aqui? (Vou colocar a dúvida lá na comunidade também) Desde já obrigado!

[@mqfs]

Opa, vou por a resposta lá na comunidade então..

[@aurelioleonel]

Valeu mesmo amigo!!!!

[@mqfs]

💪🏻💪🏻💪🏻💪🏻

[@rylelio]

!!!Muito massa!!! Teria alguma alternativa de funcionar no firebird 2.5?

[@mqfs]

Opa, Pentaho funciona no 2.5 sem problemas, mesmo driver inclusive.

[@jesuelkler]

Cabra parece que comprou um Microfone novo kkkkkkkkkk. Parbéns Gregório. Aqui temos uma ferramenta própria como eu havia lhe falado. Porém, essa ai para quem não tem uma própria é uma mão na roda kkkkk...

[@mqfs]

Kkkkkkkkkkkk, cara, tô sofrendo com as configurações do microfone kkkkkkk Mas aos poucos vou ajustando, ficou ruim? Preciso saber kkkkk

[@jesuelkler]

@@mqfs Ficou ótima kkkkkkkk... Saquei na hora que o bixo era novo kkkkkk.. #Top

[@mqfs]

Maravilha!!

[@urmenyi]

Muito bom

[@mqfs]

Valeeeeu 💪🏻💪🏻💪🏻💪🏻

[@davilemos9173]

o meu não abriu, fiz do mesmo jeito, baixei o java, C:\Program Files (x86)\Java\jre1.8.0_333, criei a variavel global JAVA_HOME apontei para o caminho java, coloquei a pasta do pentaho dentro de c:/, coloquei o icone baixei o drive do firebird, coloquei dentro da pasta lib apaguei o driver que tava lá, mandei abrir, e ele nao abre. JAVA sendo JAVA.

[@joaopoliceno8844]

Top

[@mqfs]

Valeeeeu 💪🏻💪🏻💪🏻💪🏻

[@niltonferreira7468]

Ticou top demais Gregório, show de bola mesmo... vc tem ou consegue fazer um convertendo de um arquivo .CSV para uma tabela do FB? Tentei fazer aqui mas não deu certo ... muitos erros... valeu obrigado.

[@niltonferreira7468]

Talvez um detalhe.. o PENTAHO e drivers JAVA, tudo 64 bits, meu FB é de 32 bits seria esse o problema?

[@mqfs]

Opa, os erros foram de conexão? Se for, é provável que seja por conta da versão do FB mesmo... Se puder postar aqui pelo menos alguns erros e o momento que ocorreram, posso tentar ajudar

[@niltonferreira7468]

@@mqfs esta conectando sim pq eu encontrei a tabela certinha que recebera os dados, acredito que seja no csv ... apesar que me informar todos os dados que estão no csv perfeitos.

[@niltonferreira7468]

Um pedaço do log 2020/10/26 10:16:18 - Spoon - Running transformation using the Kettle execution engine 2020/10/26 10:16:18 - Spoon - Transformation opened. 2020/10/26 10:16:18 - Spoon - Launching transformation [conversão_cnes_MV]... 2020/10/26 10:16:18 - Spoon - Started the transformation execution. 2020/10/26 10:16:18 - conversão_cnes_MV - Expedindo in�cio para transforma��o [conversão_cnes_MV] 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Connected to database [FB Local] (commit=20000) 2020/10/26 10:16:18 - csv_cnes.0 - Header row skipped in file 'C:\Users\Nilton Ferreira\Documents\MV\Projeto CNES\cnes_ativonone.csv' 2020/10/26 10:16:18 - tabela_cnes_saida.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : Because of an error, this step can't continue: 2020/10/26 10:16:18 - tabela_cnes_saida.0 - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : org.pentaho.di.core.exception.KettleException: 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Error inserting row into table [CNES_ATIVO] with values: [6577687], [292240], [SECRETARIA DE SAUDE DE MUTUIPE], [CENTRAL DE GESTAO EM SAUDE], [M], [RUA RUY BARBOSA], [S/N], [CENTRO], [45480000], [BA], [Mutuípe], [null] 2020/10/26 10:16:18 - tabela_cnes_saida.0 - 2020/10/26 10:16:18 - tabela_cnes_saida.0 - offending row : [CO_CNES Number(15)], [CO_IBGE Number(15)], [NO_FANTASIA String(58)], [DS_TIPO_UNIDADE String(57)], [TP_GESTAO String(1)], [NO_LOGRADOURO String(42)], [NU_ENDERECO String(10)], [NO_BAIRRO String(20)], [CO_CEP Number(15)], [UF String(2)], [MUNICIPIO String(24)], [NU_TELEFONE String(17)] 2020/10/26 10:16:18 - tabela_cnes_saida.0 - 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Error setting value #3 [String(58)] on prepared statement 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Error converting to int. SECRETARIA DE SAUDE DE MUTUIPE 2020/10/26 10:16:18 - tabela_cnes_saida.0 - 2020/10/26 10:16:18 - tabela_cnes_saida.0 - 2020/10/26 10:16:18 - tabela_cnes_saida.0 - 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.pentaho.di.trans.steps.tableoutput.TableOutput.writeToTable(TableOutput.java:384) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.pentaho.di.trans.steps.tableoutput.TableOutput.processRow(TableOutput.java:125) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at java.lang.Thread.run(Unknown Source) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Caused by: org.pentaho.di.core.exception.KettleDatabaseException: 2020/10/26 10:16:18 - tabela_cnes_saida.0 - offending row : [CO_CNES Number(15)], [CO_IBGE Number(15)], [NO_FANTASIA String(58)], [DS_TIPO_UNIDADE String(57)], [TP_GESTAO String(1)], [NO_LOGRADOURO String(42)], [NU_ENDERECO String(10)], [NO_BAIRRO String(20)], [CO_CEP Number(15)], [UF String(2)], [MUNICIPIO String(24)], [NU_TELEFONE String(17)] 2020/10/26 10:16:18 - tabela_cnes_saida.0 - 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Error setting value #3 [String(58)] on prepared statement 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Error converting to int. SECRETARIA DE SAUDE DE MUTUIPE 2020/10/26 10:16:18 - tabela_cnes_saida.0 - 2020/10/26 10:16:18 - tabela_cnes_saida.0 - 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.pentaho.di.core.database.Database.setValues(Database.java:1098) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.pentaho.di.trans.steps.tableoutput.TableOutput.writeToTable(TableOutput.java:261) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - ... 3 more 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Caused by: org.pentaho.di.core.exception.KettleDatabaseException: 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Error setting value #3 [String(58)] on prepared statement 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Error converting to int. SECRETARIA DE SAUDE DE MUTUIPE 2020/10/26 10:16:18 - tabela_cnes_saida.0 - 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.pentaho.di.core.row.value.ValueMetaBase.setPreparedStatementValue(ValueMetaBase.java:5477) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.pentaho.di.core.database.Database.setValue(Database.java:1080) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.pentaho.di.core.database.Database.setValues(Database.java:1096) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - ... 4 more 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Caused by: org.firebirdsql.jdbc.field.TypeConversionException: Error converting to int. SECRETARIA DE SAUDE DE MUTUIPE 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.firebirdsql.jdbc.field.FBIntegerField.setString(FBIntegerField.java:134) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.firebirdsql.jdbc.AbstractPreparedStatement.setString(AbstractPreparedStatement.java:274) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - at org.pentaho.di.core.row.value.ValueMetaBase.setPreparedStatementValue(ValueMetaBase.java:5375) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - ... 6 more 2020/10/26 10:16:18 - csv_cnes.0 - Finished processing (I=5168, O=0, R=0, W=5166, U=0, E=0) 2020/10/26 10:16:18 - tabela_cnes_saida.0 - Finished processing (I=0, O=0, R=1, W=0, U=0, E=1) 2020/10/26 10:16:18 - conversão_cnes_MV - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : Erros detectados! 2020/10/26 10:16:18 - Spoon - The transformation has finished!! 2020/10/26 10:16:18 - conversão_cnes_MV - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : Erros detectados! 2020/10/26 10:16:18 - conversão_cnes_MV - ERROR (version 9.1.0.0-324, build 9.1.0.0-324 from 2020-09-07 05.09.05 by buildguy) : Erros detectados! 2020/10/26 10:16:18 - conversão_cnes_MV - Transforma��o detectada 2020/10/26 10:16:18 - conversão_cnes_MV - Transforma��o est� matando os outros steps!

[@mqfs]

@@niltonferreira7468 Outro inscrito do canal também falou sobre problemas na importação do CSV... No caso dele funcionou quando ele baixou uma versão anterior do Pentaho

[@joserobertomoraissarmento6240]

Tem algum componente "timer" pra configurar o intervalos de tempo pra fazer a migração? Preciso muito de um replicador. Complicado configurar backup pro cliente e quando precisa de um backup da erro no restore aí lascou!

[@mqfs]

Opa, o pentaho tem sim, de uma olhada na parte de "Jobs", lá vc consegue configurar algum tipo de agendamento

[@OculoseBinoculos]

Showww! Demais Mr. MQFS, vou fazer uma oparação semelhante mas os dados vem de uma API. Uma pergunta: O Pentaho vai ter que ser acionado por um cron job se eu quiser manter atualizado o banco que vai consumir esses dados da API, certo? Muito grato!

[@mqfs]

Opa, se não me engano o Pentaho já tem um gerenciador de jobs com agendamento, daí não teria necessidade de ter algo externo chamando o seu script do Pentaho... Precisaria ver melhor isso

[@OculoseBinoculos]

@@mqfs , pow se tiver, melhor ainda. Vou dar uma olhada. Muito obrigado, meu caro!

[@mauriciosds77]

tentei fazer a coenxao com meu firebird 2.5 nao conseguir so conseguir criando uma linha dummy no firebird.confalias mas acho que fica ruim toda hora configurar ,vc tem algum tutorial com fb 2.5

[@barrys16]

Poderia dar um exemplo de como converter arquivo.GDB(Firebird) para arquivo.GDB(Interbase) ?

[@mqfs]

Vc já tem a estrutura de destino criada? Se não tiver, pode extrair todos os metadados de forma simples, pra rodar os scripts de criação dentro do Interbase. Caso já tenha a estrutura pronta, teria que fazer o processo deste vídeo em cada tabela que deseja migrar, uma a uma, respeitando a ordem das dependências de FK, triggers, etc... No vídeo mostrei a conexão entre um banco Firebird com outro Firebird, mas aí teria que trocar a origem pra pegar do Interbase.

[@barrys16]

@@mqfs Sim, eu criei tabela por tabela apenas para testes.. mas o INTERBASE 2020 é UTF-8, já o Firebird 2.5 não. Resumindo, eu criei mesmo na mão as principais tabelas do sistema (são 8) para que o APP grave na própria base do celular local (base .GDB Interbase 2020). Depois eu tenho a conexão remota para base .GDB (Firebird 2.5) que eu uso nos meus sistemas comerciais... não vejo outra solução.

[@mqfs]

então, a conversão de um charset pra outro, se tratando de bancos separados pode ser chata de se fazer mesmo, não tem como deixar o FB como utf8 também?

[@SisMaderacoSisMade]

Não encontro mais a versão do PENTAHO. Poderiam me ajudar?

[@JulioCesar-Barbosa]

Muito bom o video parabéns, uma duvida tem que ter o banco restaurado, no caso quero migrar o firebird para mysql ai tenho que instalar o firebird e restaurar o banco e fazer o procedimento ou não preciso instalar o firebird ele reconhece o arquivo do banco?

[@mqfs]

Opa, o Firebird tem a versão embarcada que não precisaria de uma instalação completa, só de alguns arquivos.. de qualquer forma vc precisaria baixar e configurar, o que dá um pouco mais de trabalho que instalar o serviço na forma padrão.. De qualquer forma, vc precisa instalar o FB pra conseguir restaurar o banco e acessar.

[@MarceloSilva-rc9bz]

Parabén pelo conteúdo, SHOW! Não estou conseguindo conectar ao meu banco que fica na SaveInCloud. O erro é... Connection failed. Verify all connection parameters and confirm that the appropriate driver is installed. Your user name and password are not defined. Mas os dados de login estão corretos. No video vc coloca somente "exemplo" em Database Name, já no IBExpert eu utilizo o caminho do banco, que no meu caso é /opt/firebird/data/NOMEDOBANCO.FDB. Seria esse o problema?

[@mqfs]

Opa, no meu caso coloquei exemplo porque eu configurei esse nome dentro do arquivo databases.conf, lá no servidor da SaveInCloud. No seu caso pode colocar o caminho completo no lugar, provavelmente vai ser isso.

[@joaopaulo8123]

Muito bom!!1 Só tenho uma dúvida, no minuto 10:29 aquele ip seria da onde?

[@mqfs]

Opa, é de um servidor criado na SaveInCloud

[@alexandretecnologia7170]

Olá. O pentaho não está abrindo, ao clicar ele localiza o JAVA_HOME e fecha sozinho o prompt. Estou no windows 11, já tentei excutar como adminsitrador e nada. Alguem pegou este tipo de problema?

[@mqfs]

Opa, também estou no windows 11, meu pentaho tá abrindo normal. Tenho 2 "Javas" instalados: Java 8 Update 271 e Java 8 Update 261 (64-bit) Minha JAVA_HOME está apontando para: C:\Program Files\Java\jre1.8.0_261

[@alexandretecnologia7170]

@@mqfs Obrigado pela ajuda, mas conseguir após instalar o java JDK.

[@mqfs]

show!

[@marcieldoliveira]

Olá, estou obtendo um erro na conexão, me parece erro de driver. Qual versão do firebird e pentaho que estas utilizando no vídeo ?

[@mqfs]

Usei a 9.0. Veja se a versão do java que vc tem instalado é compatível com o driver jdbc que vc baixou. Pode ser isso

[@oficinatech1556]

Voce faz um serviço de importação pra mim. Quanto voce cobra? e do smallsof para outro sistema

[@mqfs]

Opa, infelizmente não pego esse tipo de serviço, meu tempo não me permite dar atenção necessária pra isso

[@oficinatech1556]

@@mqfs tá certo obrigado

[@ifsbol]

Boa tarde. Valeu pelo vídeo. Uma dúvida. É possível salvar como padrão a configuração e, quando houver a necessidade de migração de um banco com a mesma estrutura, seja configurado apenas a conexão?

[@mqfs]

Opa, sim, o Pentaho permite vc salvar o script inteiro de migração em um arquivo, daí quando vc for utilizar novamente é só abrir o arquivo e trocar as conexões.

[@ailtonsimoes5749]

Boa tarde. É possível fazer a migração da versão 2.5, 3.0 para a versão 4 ?

[@DaniloSilva-wp4ip]

ele faz migraçao do fire pra postgres?

[@mqfs]

Sim, conecta em uma quantidade enorme de bancos, inclusive Postgre

[@raphaelbonillo2192]

É gratuito? Até na hora de compartilhar Dashboards?

[@mqfs]

Sei que ele tem a versão gratuita e paga, mas pra ser sincero não sei exatamente a diferença entre as versões.. O que sei é que todas as migrações de banco que fazem numa empresa que trabalhei são feitas com o Pentaho gratuito, inclusive é possível de salvar scripts de conversão pra serem reaproveitados caso entre um novo cliente do mesmo sistema.

[@GiroCritico360]

olá amigo, gostaria de saber se é possível usar o pentaho para extrair dados de um arquivo Txt com informações nao tabuladas (organizadas em colunas) e carregar num banco de dados de forma que as informações no banco esteja em colunas pre estabelecidas. exemplo, importar um diario oficial e no banco de dados ele estar separado por varas, é possível?

[@mqfs]

Opa, sei que tem como sim, daí vc pode usar opção de CSV... faz o de-para e vai tranquilo... Vou sugerir um vídeo meu que mostro como fazer isso sem precisar do Pentaho, só via select: kzbin.info/www/bejne/fp23hZytbNmkn6s

[@GiroCritico360]

@@mqfs vlw querido, assisti o vídeo, mas terei que assistir umas cinco vezes kkk

[@dreamsoftware3298]

qual link para baixar ele é pago ou free?

[@mqfs]

este é o link: sourceforge.net/projects/pentaho/files/Data%20Integration/ é free, mas tem versão paga também

[@Casdias]

PDI faz miséria!

[@jeancandido6335]

Sensacional!

[@jeancandido6335]

Sensacional!