Background jobs (filas) no Node.js com Redis | Masterclass #02

Muitas tarefas da nossa aplicação não precisam executar de forma síncrona, por exemplo, e-mails, relatórios, etc. Nesses casos, o melhor a se fazer é processar essas tarefas em segundo plano.
Nesse vídeo vamos entender sobre trabalhos em segundo plano com Node.js utilizando uma biblioteca fantástica chamada Bull que nos permite não só executar background tasks mas também monitorar falhas, realizar retentativas, adicionar prioridades e tudo isso de uma forma extremamente simples e performática.
Código da aplicação: github.com/Roc...
-----
Acompanhe a Rocketseat nas redes sociais:
Site: www.rocketseat...
Twitter: / rocketseat
Facebook: / rocketseat
Instagram: / rocketseat_oficial
Comunidade: comunidade.rock...
Blog: rocketseat.com...

[@GabrielPaivaMusic]

Fico impressionado com a didática do Diego! Eu prefiro quando a explicação é rápida, sem enrolação. Parabéns pelo excelente trabalho!

[@alison.sandrade]

Conteúdo de alto nível e de extrema importância, coisa que não se ver nem nos cursos pagos. Obrigado, ajudou muito.

[@shadracnicholas]

I bumped into this video recently, although I do not understand the language, seeing you code made me understand alot.

[@juniorl.botelho5511]

The most recent videos are already subtitled.

[@antonioraimundocanal]

Que conteúdo irado, poderia fazer um masterclass adonisjs e o redis se for possível utilizar.

[@franciscomenezes6970]

Como eu aprendo cosias novas cada dica com a Rocketseat. Diego você é fera cara!

[@rivanildojunior4507]

Sensacional, parabéns! Faz no AdonisJS e a aula sobre o Sentry!

[@markfazolin]

Diego, sou fã da rocketseat, e esta master class ficou 5 estrelas! Uma master class sobre o sentry seria ótimo! Valeu por compartilhar conhecimento!

[@LosangeloPacifico]

D+, ficarei aguardando o vídeo do Sentry! Obrigado, pelo conhecimento compartilhado e para quem ainda não fez o BootCamp, que faça, pois não tem igual! #ProximoNivelRocketSeat

[@cesarvaz6622]

Boa tarde. Você fez o GoStack? Pode contar um pouco da experiência? Estou interessado no bootcamp. Obrigado

[@JoshuaHawatta]

10 segundos tá até melhor do que eu esperava. No trampo tem request que tá demorando 5 minutos e tô indo atrás de aprender sobre Queues pra ver se resolve KKKKKK

[@danielcruz9583]

Sensacional o vídeo Diego, conteúdo excelente! Seria muito interessante um vídeo sobre o Sentry, tudo que nos ajude com monitoramento é sempre válido

[@rocketseat]

Faala, Daniel! Valeu pelo feedback e pela sugestão! 💜

[@ricktsisecretable]

Que material extraordinário. Meus parabéns pelo ótimo conteúdo. Material completo, passando por cada fase.

[@Dsouza10082]

Diego, queria agradecer pelo conteúdo, vou usar alguns destes conceitos em um projeto gigante de gateway de Pagamentos com criptomoedas, na realidade está pronto. Prefiro usar desta forma do que com o RabbitMQ, para manter a stack a mais concisa quanto possível. Muito obrigado!

[@blckhll]

Sensacional! Parabéns ao time da Rocketseat por mais essa super masterclass.

[@alefechorna1412]

Conteúdo de curso no KZbin. Parabéns!

[@lironnnick]

Velho mudou minha vida isso ....Muito bom. E se possível grava uma aula sobre sentry

[@LeonardoBradoksOficial]

Caramba mano se é loco o cara é bom de vdd pqp

[@brunodepaula5293]

Diego, como sempre, conteúdo sensacional. Achei um problema no seu código. Pra quem interessar, seguinte: no new Queue (26:06), o redisConfig não consegue entender o host e a porta configuradas, da forma que está passando no construtor. No seu código funcionou, pois o redis estava no docker e mapeou pro 127.0.0.1, e então, ele entendeu o host padrão. Peguei esse erro quando tentei fazer um container ler o redis de outro container, e neste caso, meu host do redis se chamava "redis". Pra arrumar, deve passar a url da conexão, dessa forma: de: const mailQueue = new Queue(RegistrationMail.key, redisConfig) para: const mailQueue = new Queue(RegistrationMail.key, `redis://${redisConfig.host}:${redisConfig.port}`) Espero poder ajduar alguem com essa dica! Valew!

[@rocketseat]

Poxa, valeu pela dica, Bruno! 💜

[@brunodepaula5293]

Valew! sei não nao devem olhar os pull requests antigos, mas criei um lah pra resolver isso..valew!! novamente..

[@filipemoraes577]

Boaa, tava procurando no google e nada de encontrar a solução. Obrigado!!!

[@lucaschitolina7156]

graaaacias!

[@vitorgouveia5378]

valeeeu, me ajudou bastante

[@StanleySathler]

Caramba, muito bom!! Super bem explicado e direto ao ponto.

[@edilsonpacheco847]

Novamente conteúdo foda. Parabéns Rocket! Uma masterclass que eu gostaria de ver é como configurar websockets no Redux/Redux-Sagas.

[@imartytk]

Vi um vídeo incrível no canal do DevDoido! Ele demonstra como usar Redis em Node.js com o serviço Upstash para armazenar consultas de endpoint e seus resultados. Definitivamente, um conteúdo que vale a pena conferir! Ele tem tbm um de websocket no react native se nao me engano

[@raffaelmartins646]

Muito bom!!! Faz sim! um vídeo sobre o Sentry

[@harissonmatos]

Ótimo vídeo, estão de parabéns, estou aprendendo muito. SUGESTÃO: Fazer a importação/exportação dos jobs como você já ensinou com as models do sequelize, usando a lib "fs". Assim ficaria 100% automatizado.

[@kmoreira-dev]

Muito bom!! Clareou todos os meus problemas. Obrigado!!

[@felipehuggler9557]

Diego, aproveitando eu mudaria o metodo add e passaria mais um parametro add(name, data, options) e o return ficaria return queue.bull.add(data, options || queue.options); ai a assinatura ficaria -> await Queue.add('RegistrationMail', mailOptions, { delay: 172800}); // dois dias Valeu!

[@MarcosPaulo-bs3mp]

Excelente o conteúdo aprendi bastante, sobre Redis e continuo aprendendo ... show de bola.

[@rocketseat]

Vaaleu, Marcos! 💜

[@ellyofreitas]

Muiito massa, esse bull parece uma melhor alternativa ao bee mesmo

[@FilipeASantana]

Muito bom! Aguardando o vídeo sobre Sentry!

[@alexjrnogueira]

Parabéns Diego! vídeo sensacional

[@JohannyLS]

Perfeito. Consegui aprender muito sobre background jobs. Muito obrigado

[@juloko]

Esse cara é incrível!

[@migueldaipre10]

Chegou na hora certa ! Obrigado

[@alexandrealmeida7095]

Excelente conteúdo, didática e exemplificação. Grato.

[@DougLopes]

Ótimo video, mas devia ter no título que usa o Bull, tava procurando igual louco e o video explica tudo que eu precisava mas assisti uns 15 videos antes desse por não ter a informação no título.

[@ChrisMarques1981]

Top como sempre Diego, muito bom!

[@SilasSWF]

Conteúdo extremamente valioso. Muito obrigado Diego!

[@rocketseat]

Valeeu pelo feedback! 💜 Diego arrasa né? 💜

[@darcio28]

Top de mais esse video......Valeu..... um video sobre sentry seria top tmb......

[@NetoHeitor]

Show de bola como sempre.

[@MrFliperocha]

Só conteúdo sensacional!

[@evandrogibicoski]

Muitíssimo Obrigado por esta aula, sensacional. :)

[@williamssantos826]

tú éis um anjo kkkk me salvou legal kkk

[@SauloOliveira]

Mais um vídeo épico 😁, obrigado.

[@rocketseat]

Que massa Saulo! Valeu pelo feedback!! 💜

[@StackMobile]

Parabéns conteúdo rico em informações.

[@johnnyvaz1]

Por favor. Queria te pedir que grave com uma tela menor. Para melhor visualização em celular. Obrigado. Bom conteúdo. Parabéns

[@maykbrito]

SEN-SA-CIO-NAL!!!

[@edmengo2]

Show... aguardar sobre o sentry

[@franciscojosivam1057]

Incrível, esclareceu muitas dúvidas.

Diego, faz uma aula sobre o Sentry sim :)

[@oscarrafaelcampos]

🔥🔥🔥

[@devseg]

Parabéns, conteúdo muito bom!

[@tiagocunhafernandes6607]

Diego, compartilha com a gente uma lib com Dashboard pra monitorar os usuários, e rotas , séssions e performances... o sentry já estou utilizando e é bem Top a ferramenta mesmo!

[@leoamorimrosa]

Parabéns pelo conteúdo!!!

[@LuisFGall]

aula nota 10👏

[@fala_re]

Top demaaaaais... Faz um vídeo de Sentry 😁

[@vfrancomaia]

Conteúdo sensacional como sempre! Uma dúvida: qual é a melhor maneira de fazer o deploy da aplicação e os background jobs em separado? Obrigado!

[@BrocchiRodrigo]

Caramba muito massa o conteúdo!

[@rocketseat]

Fala, Rodrigo! Valeeeu pelo feedback! 💜💜

[@tiagocunhafernandes6607]

Como de costume, TOOOOP

[@MauricioLucasOficial]

Show!! na aula do sentry pode ter tmb algo sobre reset da api num erro grave que para tudo :)

[@antonioraimundocanal]

Seria muito bacana falar sobre o sentry.

[@elvitin]

Época que o Diego usava .js haha Faz um vídeo novo só que agora com BullMq

[@paulorcaldera]

Esperando o video sobre Sentry :D

[@fabioramatis2373]

Incrivel como sempre

[@MatheusLima-xy9ni]

Oi Diego. Faz a próxima sobre websocket. Valeu!

[@adelinopds]

Vídeo muito top 😍😍😍😍

[@alyssonbormann]

Show, fale mais sobre o sentry

[@diegogoulart159]

Muito bom! Faz um vídeo usando o Bull no Adonis! E eu não entendi direito como separar o queue.js do servidor, ou seja rodar em outra máquina. Poderia demonstrar isso em um vídeo rápido (continuação desse por exemplo).

[@rodrigofuhr8965]

Também fiquei em dúvida de como fazer isto. Procurei algo a respeito e não encontrei. Tu chegou a fazer algo?

[@diegogoulart159]

@@rodrigofuhr8965 eu estou usando o plugin que o pessoal da Rocket fez. Procura aí: Rocketseat/adonis-bull

[@CaioCesarRegatieri]

SENSACIONAL!!!

[@carloseduardoguedeslourenc4212]

Excelente!

[@davidalexander8786]

obrigado

[@rocketseat]

💜

[@GustavoCardoso]

Muito massa

[@vitorgrenzel9963]

Diego, faz um vídeo de como utilizar redux no Next.js

[@henriquesilverio5910]

30:12 Como fica para publicar essa instância separada em um outro ambiente, sendo que ela depende de código da aplicação "principal"? No caso depende do `RegistrationMail.handle` por exemplo...

[@wesleydias9944]

tenho a mesma duvida, sabe dizer se encontrou esse conteúdo em outro lugar por ai?

[@rodrigofuhr8965]

Minha duvida também. conseguiu solucionar?

[@jeanjunior-dev]

#PR eu fiquei com a mesma dúvida sobre como rodar a fila em um servidor externo

[@portalcompartilharepreciso8682]

excelente! top

[@programadormarcos6182]

Diego queria muito ver você fazendo um coteudo utilizando o redis + rabbitmq agradeço demais

[@DavyMartinsMeireles]

Muito bom

[@kaiovcp4480]

Animal! vlw!

[@batista7898]

Bacana o esquema de jobs e bem util, porem gostaria de saber mais de como limitar o uso de recursos do sistemas nas jobs, no caso de querer particionar o uso entre aplicação e jobs para não travar o sistema (levando em conta que estão na mesma maquina).

[@apenasluan3661]

muito bom!!

[@ricard0pb]

Por favor faça um video sobre usar Bull com AdonisJS 🙏 estou precisando MUITO e não encontro jeito de fazer funcionar.

[@Jonny-hq6eo]

github.com/Rocketseat/adonis-bull

[@kelsonmarciel686]

Conteúdo muito bom, quanto a monitoramento em ambiente de produção acho uma boa pauta, deixo aqui uma duvida sobre qual ferramenta utilizar para monitoramento para o react-native (sentry ou o Diacnostic da App Center) ??

[@khalleb]

show

[@rocketseat]

Valeeu Khalleb! 💜💜

[@JaraguaMilTreta]

E se algo falhar, conseguimos automatizar para que volte para a fila o erro?

[@paulobueno778]

😎

[@phemartin]

Existe uma forma de integrar Bull com NextJS? Queria saber como processar Queues de forma assincrona.

[@SilasSWF]

Quero saber mais sobre o Sentry e sobre o Redis tbm

[@rocketseat]

Valeu pela sugestão!! 💜💜

[@abreuevandro]

Diego, então a utilização desta lib dispensa, por exemplo, a utilização do RabbitMQ ?

[@AllanClaudioMello]

Show de bola. Não ficou claro a parte do Redis, onde e qdo o Redis é executado em conjunto com o Node? Crio a fila, identifico a fila, mas não mostrou como recuperar a fila através do client, talvez em uma função de callback? Creio que caberia um 2o vídeo com um client simples em React ou Flutter consumindo essa API Node. Um exemplo de aplicação para isso seria o pagamento do PicPay feito através do QRCode, o client recebe o QRCode do PicPay, o usuario ler o QRCode com o App do PicPay, o processamento é feito pela API do PicPay e é retornado através de uma url de callback a Id e a Key do processamento. O aplicativo client recupera essa Id através da fila q foi criada na API do Node, consulta o status da transação, e confirma ou não o pagamento. Um client simples com uma tela mostraria isso. Pode ser?

[@allefdouglas9693]

No PC que estou programando está instalado o Win 7. Pra ele, só tem uma versão antiga do Redis, que infelizmente não tem suporte às funcionalidades usadas pelo Redis instalado no node_modules, que é usado pelo Bull. Uma pena não poder instalar o Redis. Mas ótima aula.

[@hitsistemas365]

Sensacional. Essa mesma implementação serviria para o AdonisJS, ou precisaria fazer alguma alteração? Pois não achei nada relacioando na documentação do Bull nem na documentação do AdonisJS. Abs

[@BillRocha]

SHOOOOWWW!

[@lincolntx98]

Diego você acha mais interessante usar o Redis ao invés do RabbitMQ?

[@leonardocunha5765]

Olá Diego é uma boa praticar salvar dados de CSV no banco usando fila?

[@eberalves6748]

quando passo o options com delay de 5 segundos conforme exempĺo ele nao processa return queue.bull.add(data, queue.options);

[@StanleySathler]

Sempre temos uma fila pra cada tipo de job ou, dependendo do caso, temos uma grande fila pra aplicação inteira?

[@danielteixeira8559]

Rocketseat parabens pelo video, muito bom! mas eu fiquei com uma duvida: Porque que temos que criar uma nova fila de jobs a cada job? porque nao inserir um novo job dentro de uma fila unica!?

[@rochaalex]

ótimo tutorial! mas, fiquei com uma dúvida.. Como pego o retorno? tipo, se der algum erro, quero mandar um e-mail para o responsável ou se deu tudo certo, quero atualizar uma base de dados.. como pegar este retorno?

[@emersonfelinto]

Também tenho essa dúvida. Conseguiu resolver ?

[@vitorgouveia5378]

eu acho que usando o .on() e vendo se tem alguma opção de sucesso

[@odecioale]

Board UI terá paginação ou filtro de pesquisa? Estou pensando em uma fila muito grande, por exemplo com mais de 1000 registros.

[@maximilianosalvatti7073]

Poderiam ajudar a incluir a propriedade limiter no codigo do video? Se adicionado no job, em ADD não funciona, também tentei adicionar direto no quando é criado o Queue e não respeita o limiter, quero que seja executado 1 job por minuto, como faria? Obrigado.

[@girvX]

Tô entendendo mais nada, pra que serve o Kafka ou rabbitmq? Tem tantas libs pro node que fico perdido

[@TarcisioPqdt]

Ele sempre voa assim no conteúdo nós bootcamps?

[@silasalcantara3721]

RADICAL

[@canalred3609]

Ensina a fazer multithread mo socketio

[@crazyleo-ca]

Poderia ter usado glob ao invés de criar um index.js pra inserir cada job dentro e exportar, ia ser mt mais automatizado.