0002 - Instalando Pentaho Data Integration e Integrando com o Pentaho Server

[@MarcelAltaPressao]

Pentaho server é gratuito? Tinha entendido que era pago. Outra coisa, fiz uns testes com ele, a escrita em banco de dados é bem lenta. Cerca de de 10 linhas/s. Tentei aumentar a memoria alterando nas configuracoes mas nao deu certo. É lento assim mesmo?

[@DavidKestering]

Olá Marcel. O Pentaho Server é gratuito, na sua versão community edition. Porém, a empresa Hitachi Ventara, comercializa o Pentaho Enterprise Edition, que é a versão paga da suite completa. Com relação a lentidão, vc está falando das transações de Pentaho Data Integration né? Pergunto, pois o pentaho server é um repositório e um serviço de agendamento de jobs, ele não interage com o banco de dados em escrita, somente leitura. O Pentaho Data Integration realiza escrita no banco, e se não estiver configurado sim, a escrita fica lenta nesse nível mesmo, porém é possível aumentar o valor para escrever bem mais rápido, hoje o meu está configurado para suportar escrever pouco mais de 1000 linhas por segundo, mas usamos um exadata oracle também, ou seja, a máquina de banco de dados também suporta uma intensidade de transferência de dados. No PDI, em cada transformação se vc clicar com o botão direito para ver as propriedades de cada transformação, vc tem uma aba chama Miscellaneous, e nela vc pode alterar a quantidade de dados para transferir, eu geralmente configuro o feedback size para 1000000, e o Nr of rows in rowset para 10000000. Com isso configurado, geralmente sua escrita de dados melhora bastante, porém, no tipo de transformação vc também terá configurações de cache e de quantidade de registros para fazer um commit, geralmente eu configuro meus commit para acontecerem a cada 100000 registros em memória.