Cara, parabéns pelo conteúdo, aprendi muito, poucos ocupam o tempo para ensinar algo útil e de valor hoje em dia, continue assim!
@data_leal6 ай бұрын
Caraca, Skrillex estava ensinando programação todo esse tempo e eu aqui, vou me inscrever hehe
@wduandy4 ай бұрын
CALL 911 NOW!!!!!!
@data_leal4 ай бұрын
@@wduandy kkkkkk
@MsVextor6 ай бұрын
Vídeo muito bom, tenho só um complemento. A técnica de paralelismo realmente influencia muito na velocidade, mas temos que lembrar que, no primeiro caso, os dados precisaram passar pela camada de rede e, no segundo caso, foi entre dois bancos na mesma máquina. Só para exemplificar, uma coisa é passar um vídeo de uma pasta para outra no próprio PC, outra coisa é fazer upload desse vídeo para o KZbin ou fazer download dele. Vídeo excelente e sobre um conteúdo que vejo pouco no youtube, parabéns.
@angolatechreviews84206 ай бұрын
Exactamente numa situação real o problema seria as operações IO passando pela camada de rede. Bom ponto!
@ErickWendelTraining6 ай бұрын
Excelenteeee!! Faz um teste ai pra ver quanto ficaria, só trocar as variáveis de ambiente e ver a velocidade quanto vai
@atilaaugusto_5 ай бұрын
sem contar que não existe nenhum tipo de validação ou controle de fluxo. fiquei curioso de ver como seria rodar isso com graalvm
@carlosvinicius97676 ай бұрын
Rodei o projeto na minha maquina e levou 30 segundos para migrar TODOS os registros... impressionante
@ErickWendelTraining6 ай бұрын
SENSACIONAAAAL
@eliseumds6 ай бұрын
Cacetada... Ryzen 9?
@HernandesTrd5 ай бұрын
Man... te achei no Tik tok... é vc não tem tantos seguidores lá... mas aqui vc é um god man!... congratulations 🖖🏼👏🏼👏🏼👏🏼👏🏼
@AleffSK86 ай бұрын
Irado o vídeo Erick, boa explicação e ótima solução para esse problema, me deu ótimos insights
@ErickWendelTraining6 ай бұрын
Que demaaaaais fico feliz que curtiu!!
@dffrancisco5 ай бұрын
Cara muito top, isso é foda parabéns, Erick fala de IA com node
@luancarvalho13103 ай бұрын
Acabei de saber que o Akita passou o bastão pra você. O pouco que já vi dos seus videos, entendo porque ele fez isso.
@angolatechreviews84206 ай бұрын
Excelente, penso que em uma situação real, por exemplo ao imigrar de um banco de dados em Heroku para Aurora DB a maior parte do tempo será gasto em operações IO mas olha que as técnicas que passaste aqui podem ajudar muito a balancear a carga de trabalho! Excelente trabalho. 🎉
@Helter_Skelter16 ай бұрын
Me deu uma insights muito bons Erick, valeu! Possívelmente vamos passar por umas migrações la no trabalho, papo de mais de 5b de registros, isso com certeza pode ser uma opção
@caramba1586 ай бұрын
Cara, 5b de registros? Com certeza não faria no JS. Usaria o Goroutines, muito mais seguro
@Tatan-GIR4 ай бұрын
que mejor que aprender JS y practicar mi portugues !! muy buenoo !!! Eres un grande !! Tah legal ! Obrigado !
@LucasRamonOliveiradaSilva6 күн бұрын
Muito bom teu vídeo, parabéns! Me tira uma dúvida, isso cairia bem em fluxo de dados continuo? Por exemplo, imagina que em um tópico são consumidos 1M de mensagens, isso ajudaria?
@astaron-eremita6 ай бұрын
Sempre usei Spring boot reativo(assíncrono), na empresa que trabalho é 2 milhões de dados por dia... é bem performático para ser sincero tanto a escrita tanto a leitura, o segredo de tudo isso está no assíncrono.
@nacionalgessodecoracoes7294Ай бұрын
Erick vc e o cara do Node.
@diegogoulart1596 ай бұрын
Eu usei essa técnica para fazer o inverso, escrever os dados em uma planilha do google. Foi bem rápido também.
@ErickWendelTraining6 ай бұрын
Que demais!!! Incrivel a velocidade da parada
@diegogoulart1596 ай бұрын
@@ErickWendelTraining É bem rápido mesmo, usei pra resolver um problema em um desafio técnico de uma vaga. E é claro que eu passei :D
@douglaspoma6 ай бұрын
Poderia fazer um vídeo parecido mas processando um arquivo gigante, utilizando streams e distribuindos os chunks entre childs
@ErickWendelTraining6 ай бұрын
Opaaa e se eu te falar que tem isso aqui no canal? Pesquisa sobre processando 30gb que mostrei (e sem precisar de child process, fiz com webstreams então você pode combinar os dois)
@mateusfuga1236 ай бұрын
Muito bom conteúdo Erick! Fiquei em dúvida do quanto a rede dominou o tempo de duração do script quando rodou em produção, acho que seria interessante fazer um comparativo das duas soluções rodando tudo na mesma máquina para isolar a melhoria e ver de uma forma mais precisa o quanto de fato foi possível melhorar. Ainda acho importante destacar alguns cuidados com um alto nível de paralelismo (levando em conta também as promises sem await), que poderia sobrecarregar o banco. Chamo a atenção pra isso porque essa prática em código de produção pode ter efeitos colaterais não imaginados, como consumir todas as conexões disponíveis do banco.
@flaviorodrigues26154 ай бұрын
Erick acompanho seus vídeos e dicas por aqui e pelo linkedin, gostaria de iniciar a programar em Javascript, vi que não tem mais o curso para iniciantes no teu site...Está em outro nível kkkk, mas me diz aí, poderia indicar um bom curso pra quem quer iniciar no Java?
@sathishramesh37656 ай бұрын
please make it in english also, i know it have sub titles, but try to consider this req..because i know this is such valuable content about node
@flaviolourenco13116 ай бұрын
Erick parabéns pelo profissionalismo, fiquei curioso sobre a troca do banco de dados, seria custos, algo do tipo?
@ErickWendelTraining6 ай бұрын
Opaaa, na verdade só um caso de uso mesmo, poderia ser o contrário tambem
@matheusduarte95156 ай бұрын
Fala Erick! Tudo certo? Fala sobre a normalização de dados com nodejs em grande escala acima de 100mb de dados
@allanlimaverde62016 ай бұрын
Legal! Só uma dúvida, o número de processos que vc spawna não é na prática meio limitado pelo número de cores da CPU?
@TheDaissuke6 ай бұрын
fala mano, blz? a alguns anos atrás eu fiz algo similar mas em python e alterei os arquivos para documentod no mongodb e para paralelizar eu usei workers consumindo msgs do rabbitmq. no meu caso estava criando um report de rightsizing de vms azure que em algumas situações demoravam mais do que 24 horas, e caiu para menos de 15 mins.
@leonardorangel85586 ай бұрын
Boa tarde! Fiz o teste no wsl do windows ele usou 8gb de memoria de 16gb e tenho um i5 9600k. o script rodou em 102 segundos, muito rápido kkk o processamento da cpu ficou em 100%
@ErickWendelTraining6 ай бұрын
Olocooooooooooo que demais! Daria p aumentar a quantidade do cluster pra ver como ficaria
@devcaiquearaujo6 ай бұрын
Não sei se é uma particularidade do NodeJS, embora eu goste muito do NodeJS. Já fiz muita migração de dados com Python, Go e até PHP e, localmente, sempre são resultados muito bons. Até porque localmente não tem uma virtualização de CPU, a maioria hoje tem GHz mais que suficientes, também tem no mínimo 8GB de memória RAM disponível e não depende da latência. Em outras palavras, independente da linguagem ou da qualidade do algoritmo, sempre vai ser mais rápido local. Por isso, geralmente faço um dump do banco de dados, importo localmente. Depois migro, faço um dump do novo banco de dados e importo no cloud.
@BrasilEmFatos6 ай бұрын
Mas ai você tá falando de projeto pequeno. Trabalhei em lugar que era gerado log de 5TB por dia. Como faz dump disso haha?
@devcaiquearaujo6 ай бұрын
@@BrasilEmFatos se é log porque você faria migração de dados?
@GuilhermeLima-md3ci6 ай бұрын
Qual é a melhor biblioteca para paralelizar processamento hoje no nodejs? Achei muito legal entender como funciona por baixo dos panos. mas gostaria de ver uma boa biblioteca e até mesmo dar uma estudada no código dela. Já fiz algo bem parecido com o que você mostrou no video usando threads em c.
@guirard66856 ай бұрын
Você é demais, me tira uma dúvida... é possível hoje em dia trabalhar com node sem typescript sendo que na maioria das vagas pedem typescript?
@Marcos.Silva75 ай бұрын
pessoal qual é a melhor linguagem para um júnior fazer o backend do html, css e js de um site? quero conseguir uma vaga no mercado, mas não consigo me decidir pra onde ir
@felipesilva6976 ай бұрын
Erick como seria a melhor maneira possível para lidar com: Tenho uma quantidade limitada de produtos exemplo 10 mas existem 20 pessoas querendo comprar/adquirir, como lidar se essas 20 requisições acontecerem ao mesmo tempo sem gera erro e não acaba ficando com um número negativo. Estou com um problema semelhante ao tentar criar um sistema de reserva de quartos. Vi algumas opções mas gostaria de saber como você faria pra resolver.
@leonardobarrocal11724 ай бұрын
Ja pensou em utilizar socket? Acredito que com ele voce ira conseguir suprir essa necessidade, pois assim ira ter consistencia nas informacoes. Pensa como um banco, voce precisa mostrar os dados reais do usuario, ele nao pode ter um saldo de 1 mil sendo que tem 1 real, entao e necessario focar na consistencia, fez qualquer coisa, ja processa essa informacao, caso contrario, aponte um erro. Acredito que assim vai dar certo hehe
@natanaelsimoes4 ай бұрын
Como fica a situação do banco em questão de cpu, sessões ativas e tals
@BestRebolation6 ай бұрын
Um dúvida que tenho é: o node tem os módulos "child-process" e " cluster". Qual a diferença entre eles?
@jorgehabib39336 ай бұрын
Qual seria a diferença entre implementar usando child_process e worker threads? Nenhuma, certo?
@thiagofelipe99306 ай бұрын
Erick, oque vc faria para não carregar um grande volume de dados vindos do Mongo ou de qualquer outra fontes em um array? Bem nesta linha aqui: index.js linha 17 const items = await data.toArray() Pensei no Node Stream, mas existe outra solução?
@julio12356795 ай бұрын
fala erick tudo bem ? atualmente uso webpack em uma extensao web, minha ideia e fazer scripts automatizados em javascript(node) mas o webpack nao aceita utilizar node, gostaria de uma ideia para fazer scripts node e outro para webpack (extensao web), se puder dar umas dicas vlww !
@nvieirarossett6 ай бұрын
Erick, achei muito legal, to fazendo algo grande também que processo muitas informações por aqui, meu bd de mongo ta com 100gb e crescendo, PORÉM... diferente do seu o meu precisa ser de forma sequencial, pois seria um sistema de backtest de mercado financeiro, eu preciso esperar concluir um processo para ir para o próximo, não tem como, preciso usar await em uma função recursiva que executa um cursor no mongoDB pois normalmente são mais de 2 milhões de linhas em um loop, mas vc acha que childProcess pode fazer diferença em dados que precisam ser sequenciais? Ou se tem alguma forma de otimizar o processo em uma situação como essa? Uma coisa que vou fazer ainda é ao menos nesse sistema de backtest tirar o mongoose da jogada, pois vi que ele deixa mais lento o processamento, quanto mais der pra otimizar melhor.
@jorgehabib39336 ай бұрын
Já trabalhei com algo similar, minhas sugestões: 1. Não se comunique com o banco de dados no meio do loop. Pegue todos os dados antes do loop e escreva todos os dados depois do loop. Tudo fica salvo em memória nesse meio tempo. 2. Worker Threads ou child_processes só vai te ajudar a processar vários símbolos de uma vez. Como o resultado de um dia depende do dia anterior, tem que ser sequencial mesmo. 3. Cuidado com manipulações de datas no meio do loop (timezone e etc). Nesses casos extremos a lib dayjs me deu muitos problemas de performance. 4. Aprenda a utilizar o profiler do debugger do Chrome. Lá com os flamegraphs você consegue encontrar exatamente a função que está tomando mais tempo no seu programa, e otimizar ela.
@LeonardoAraujo-bc3qn6 ай бұрын
Fala Erick, belezinha? Nesse fluxo, a utilização do método "cursor" na query do MongoDB não seria mais performático? Ou teria algum problema?
@ErickWendelTraining6 ай бұрын
Seria sim!! Ao invés de usar um .toArray! Tenta modificar ai e fazer pra vermos o quanto melhora 🤘🏻🤘🏻
@ricardoatonholli6 ай бұрын
"o cara é foda patroa..." 👏👏👏
@christianguimaraes50656 ай бұрын
Como posso saber o número ideal de cluesterSize para minha maquina suportar?
@matheusmoura84075 ай бұрын
Muito obrigado irmão
@misterl81292 ай бұрын
Thank you! I have a Q; What is the difference using working threads vs "childs"? Or is the same :O
@CarlosEduardo-nt8pm6 ай бұрын
Poderia ter mostrado o uso de memoria / processamento durante a execução dos processos no NodeJS 👀
@ErickWendelTraining6 ай бұрын
Até pensei nisso, mas o vídeo ia ficar grande demais hahahah meu objetivo eh mostrar e as pessoas experimentarem e medirem
@GabrielVitoriaSАй бұрын
Brabo 👽
@Kimitri6 ай бұрын
Legal, isso me lembrou uma dúvida de um projeto que estou fazendo, tipo tenho um endpoint de uma api que gera presignedUrls para o s3, as vezes preciso gerar 3000 urls, pra essa quantidade é necessário fazer filas tipo com o bullmq ou não? Tenho a dúvida pq não sei se para essa quantidade vale a pena pra economizar recursos do servidor.
@gamecraftbrasil38136 ай бұрын
Não daria para ter um desempenho similar usando o worker_threads?
@srDanOver6 ай бұрын
Estou com a mesma dúvida
@eliumoraes6 ай бұрын
Top! Mais 1 vez que aumentasse e chegava na metade do dotnet.
@ErickWendelTraining6 ай бұрын
Hahaha lança o desafio que provo que dá pra fazer mais rápido que dotnet 😜
@eliumoraes6 ай бұрын
@ErickWendelTraining Peraí... Fiquei pensando, como seria a disputa se cada layer da arquitetura tivesse sua própria instância Docker - tipo, Postgres, Django, e entre nodejs/dotnet? Quem termina mais rápido na camada {{framework}}? Seria uma boa disputa, hein! Falando nisso, tô com uma dúvida sobre a experimentação. Pelo que saquei, você tá usando isso pra simular carga pesada em chamadas de endpoint, né? Ainda tô meio na dúvida. No mundo real, eu talvez fosse de Python ou, quem sabe, ADF na Azure, dependendo de como essa liberação rolar em produção. Agora, pensando no desafio entre nodejs e dotnet, acho que deveria ser algo tipo: medir quanto tempo cada framework leva pra pegar uma requisição HTTP, processar, salvar alguma coisa no banco e devolver uma resposta. Aí sim, daria pra montar um cenário com clean architecture pra ver como eles se saem no dia a dia, longe dos monolitos simples. Podíamos até armar um setup com k6, Grafana e InfluxDB para os testes de carga. Que tal?
@arozendojr6 ай бұрын
Em relação aos testes unitários, você acha que os testes que usam DOM seriam testes de funcionalidade, não testes unitários?
@ChristianPrado-nl5vj6 ай бұрын
Erick, acha que usando o worker_threads do nodejs seria mais leve, por não ter que criar um processo completo? Ou não teria tanta diferença?
@and72316 ай бұрын
É recomendável usar worker threads para uso intensivo de CPU como renderização de imagens ou até mesmo algoritmo de ordenação, para processamento assíncrono I/O utliza-se geralmente child process, mas sua inicialização seria mais rápida sim.
@gustavosoares98496 ай бұрын
queria que o erp da minha empresa fosse assim, quando vai reparar o banco = 1 hora KKKKKKKK, imagina se fosse pra 2 minutos.
@lucasluizss6 ай бұрын
Insano! 🚀
@matheus_carvalho.6 ай бұрын
pq você não utiliza typescript?
@JeanFellipeFerrazCampos6 ай бұрын
Erick, uma duvida, como tu faria para ter o número de clusters dinamicamente? ou seja, em vez de ser 99 na mão, ser 'N' dinâmico, conforme o poder de processamento disponivel
@and72316 ай бұрын
import os from 'os' const cpusNumber = os.cpus().length - 1
@helovescoding6 ай бұрын
muito daora! vou testar o meu caso de uso numa máquina na aws mas será que a gnt conseguiria fazer ter um resultado parecido numa máquina com 2 cores e 1024 Mb de ram???
@softultraviolence56734 ай бұрын
Na verdade isso aí é bastante recurso, da tranquilamente.
@ArthurSilvaQueiroz6 ай бұрын
Por que usar processos filhos invés de usar threads?
@raimundononatobatistaneto84295 ай бұрын
no meu corei3 de 7th, 12gb de ram demorou 10,5 minutos
@joseoliveira84236 ай бұрын
kzbin.info/www/bejne/e5-uaWCubbFsirs No caso o for await se faz necessário por o generator retornar um iterator de promises (que da no mesmo que iterar sobre um array de promises). O for await garante que a cada iteração a promise seja resolvida antes de ser atribuída à variável "data".
@rafael_tg6 ай бұрын
top o video. Quanto tempo será que roda se fizer em Rust ?
@ErickWendelTraining6 ай бұрын
Acredito que o fator aqui eh que estamos inserindo e recebendo dados de bancos externos, entao os dois podem chegar no mesmo limite que eh o limite de leitura e inserção dos bancos, mas acredito que vale o experimento
@matheusspinosa92016 ай бұрын
Não seria mais performático inserir múltiplos items de uma vez? Ao invés de inserir basicamente 1 por 1? Tive um problema de dados do tipo e tive que fazer as coisas em lote porque eu fritava a maquina do mongo fazendo um por 1 kkkkk
@yurirenato79683 ай бұрын
Tenho que ser sênior pra aprender isso?
@xsamuelx36036 ай бұрын
Uma técnica de paralelepípedo :D
@matheusspinosa92016 ай бұрын
Meu prefeito
@eliseumds6 ай бұрын
Macbook M3 Max 48GB, 48 segundos.
@ErickWendelTraining6 ай бұрын
CARACA
@gabrielandre57476 ай бұрын
Se 1 milhão de linhas em 3 minutos é rápido eu sou um abacate
@ErickWendelTraining6 ай бұрын
Oi abacate, tudo bem?
@gabrielandre57476 ай бұрын
@@ErickWendelTraining Oi lindão
@TheVeganMonkeyLotus6 ай бұрын
erick lenda
@gustavosoares98496 ай бұрын
Queria ver a diferença entre o Worker Threads vs Child Process na prática.
@elvispalace6 ай бұрын
o brabo
@drksbr6 ай бұрын
Oculus sujo da poxa. Como que tu tá vendo através disso, Man ? Kkkkk
@sdmastergames49056 ай бұрын
bah fiscal de oculos, diferente
@nandomax36 ай бұрын
Ele não ve direito, ele usa óculos
@luisguilherme78896 ай бұрын
Eu com óculos podre vendo esse comentário: 🤡
@ErickWendelTraining6 ай бұрын
HAHAHAHAHHA pior que só incomodou depois que gravei 😂😂😂
@gabrielmateus67636 ай бұрын
aqui levou 65 segundos.
@dizerdev6 ай бұрын
conteudo TRUE
@guilhermeghost996 ай бұрын
2 segundos aqui
@rafael.aloizio17696 ай бұрын
eu sei que é moh idiota falar isso, mas eu tenho toc, nao consegui. tem um typo no nome da tua funcao de balanceamento de carga deveria ser roundRobin nao Roubin haha