o que TODO engenheiro de dados deveria saber em 2020

Nesse blog eu falo um pouco mais sobre OLAP e como ele pode ser utilizado em Big Data:
engenheirosded...
No mundo de tecnologia se manter atualizado com as principais tendências do mercado é algo que demanda muito esforço, tanto para saber quais são as ferramentas mais utilizadas quanto tempo para aprende-las.
Nesse vídeo eu faço um resumo das principais tecnologias que o mercado de Engenharia de dados espera de um profissional que está se capacitando para entrar na área! Algumas mais urgentes que outras, mas todas extremamente importantes!
Qualquer dúvida ou sugestão não esqueça de deixar nos comentários!
Livros na capa:
AWS para desenvolvedores
Pense em Python
Data Mining A Hands-On Approach for Business Professionals
Acompanhe também nas redes sociais:
Linkedin: / andrepetridis
Instagram: / andrepetridis
Facebook: / gregoengenheirodedados
Twitter: / andrepetridis

[@allefpassos2207]

Muito bacana poder ouvir alguém que atua na área. Esse área de dados faz meus olhos brilharem, pois eu descobrir realmente que os dados me fascinam

[@walterpaulino4438]

Grego você seria um excelente professor, caso ainda não esteja lecionando.👍👍👍👍👍

[@GregoTech]

Obrigado Walter, ainda não estou mas pretendo =)

[@biomelo8501]

Não conhecia a engenharia de dados, mas a cada vídeo estou mais inclinado a estudar e aprofundar em direção dessa profissão! Estou buscando cursos, paralelo ao terceiro semestre de análise e desenvolvimento de sistemas que estou iniciando...

[@makarovs7690]

como está 2 anos dp ? vc ta trabalhando na área? to pensando em ir pra ela mas n sei se ta mt limitado a achar vagas aqui no brasil ;/ meu medo é ter dificuldade de encontrar

[@marcospontes5606]

Adoraria um vídeo sobre o Hadoop!

[@GregoTech]

Acho que seria uma boa também!

[@andrenascimento584]

Parabens pela baita explicação. Didatica simples sem deixar de ser tecnico. Elucidou muuita coisa. Adorei, continue a produzir mais videos assim sobre engenharia de dados. Sensacional

[@GregoTech]

Muito obrigado André fico feliz que gostou!

[@eu.laisnr]

Cara mt bom, mt didático. Parabéns mesmo! Só recomendo acrescentar alguns outros detalhes importantes a descrição, como a sequência do conteúdo que você passou. O que acha? Eu, por exemplo, prezei por prestar atenção ao em vez de anotar, agora vou ter que rever o vídeo todo pra anotar os tópicos que foram muito interessantes, aliás. Como não tenho mais tempo, vou ter que deixar pra outra hora e, considerando a realidade do comportamento humano, a chance de esquecer ou deixar pra lá é bem grande. Um abraço e continue produzindo, acredito que vá muito longe :)

[@GregoTech]

Lais, primeiramente muito obrigado pelo comentário, ele faz toda a diferença. Um mini resumo com os principais pontos do conteúdo na descrição do vídeo, algo nesse formato já ajudaria?

[@marcelofeliciani]

Ótima didática! Pode criar um curso. Faz um vídeo sobre Hadoop.

[@GregoTech]

Muito obrigado Marcelo! Está no pipeline um curso breve de Hadoop e MapReduce

[@felipeassuncao]

Muito bom conteúdo, parabéns!

[@astralfun1976]

Sucesso meu amigo 👏

[@elias-earaujo]

Opa, vendo seu conteúdo agora em 2023! Tens algum treinamento especifico para Engenheiro de Dados? Trabalho com SQL e ETL com Pentaho/PDI e Python.

[@AyresGuimaraes]

Olá Grego, muito bom seu canal. Sou estudante da área de dados e almejo ser um engenheiro de dados, porém tenho uma certa dificuldade em demonstrar o que eu sei para uma primeira oportunidade. Encontro muitos vídeos de portfólio de projetos para cientista de dados, github, etc. Portanto, gostaria de sugerir um vídeo, pois não encontro em lugar nenhum isso: como eu posso criar um portfólio como engenheiro de dados? como, por exemplo, eu crio o portfólio de um data warehouse que projetei ou um data lake? Ficaria muito grato, se me você me ajudar, por vídeo, ou aqui nos comentários mesmo. Obrigado.

[@GregoTech]

Falaa Ayres, que bom que gostou do canal, tenho em mente um vídeo com essa questão, mas agora irei agilizar a produção dele, mas de qualquer forma recomendo os seguintes projetos: - Processamento de dados em JSON, CSV, TSV, TXT, Fixed Width Files - Processamento e armazenamento de imagens - Testes unitários de código - Projeto DDL de um Data Warehouse - Projeto conceitual de um Datalake e por ai vai Use datasets publicos, como por exemplo o do IBGE, ou datasets do Kaggle Recomendo desenvolver com Python ou Scala No vídeo vou abordar mais a fundo esses temas, por enquanto fica a vontade pra me perguntar =)

[@AyresGuimaraes]

@@GregoTech obrigado pelas dicas Grego, vou colocar em prática

[@manoelgaia]

Seria muito legal mesmo

[@silasronaldo]

O que um engenheiro de dados junior faz? Como fazer um portifólio para poder aplicar a vagas?

[@GregoTech]

kzbin.info/www/bejne/pJbXc5x8nJqNe68 Acabei de lançar um vídeo que pode te ajudar.

[@PedroDias-ng4sw]

Brabíssimo!

[@GregoTech]

Brabeiro

[@marcosvinicios8595]

Grego quando vc comenta sobre linguagem SQL está se referindo ao SQL server? Se não qual curso vc me indicaria para aprender Linguagem SQL?

[@GregoTech]

Oi Marcos! Quando eu falo sobre SQL quero dizer sobre Structured Query Language, criada para suprir operações de manipulação, busca e administração de bancos de dados relacionais, o SQL Server é uma engine de banco de dados que utiliza essa linguagem, recomendo o curso aqui do canal, o módulo 2 vai ter SQL e NO-SQL.

[@pedro14031996]

Grego, iniciei uma pos em DSA, e estou aprendendo a programar em R (queria q fosse python kk). Minha duvida é se esse MBA ajuda no meu objetivo de me tornar Engenheiro de dados ou escolhi o curso errado msm?

[@GregoTech]

Fala Pedrão! Cara, engenharia de dados é em suma engenharia de software, de longe recomendo um curso de ciência da computação ou análise e desenvolvimento de sistemas. Uma pós em DSA pode te ajudar em Engenharia de dados se você quiser trabalhar com Engenharia de Machine Learning pra entender as engrenagens de como funcionam os modelos de machine/deeplearning. Espero ter ajudado!

[@cortesdobando8758]

top !

[@gabrielbmarques9501]

Ótimo conteúdo e vídeo! Porém, o som de fundo mt alto ;-)

[@GregoTech]

Obrigado pelo comentário!

[@robinhopeixoto]

Recomenda algum curso, principalmente focado em ferramentas open sources?

[@GregoTech]

Cara por enquanto não achei cursos bons no mercado 😐

[@jurandyjr]

Salve, Greco ! Estou estudando data analystics mas o meu objetivo é engenheiro de dados, qual o curso de engenheiro de dados que você indica?

[@WellintomCampos]

Parabéns pelo video brother, mas como alguém já comentou aqui, acho válido por na descrição os tópicos abordados, e explana-los no vídeo, assim teremos as informações explicadas no vídeo e a escrita para poder guardar e traçar uma rota de estudos. Até breve.

[@tatiellerodrigues2742]

Ah mano valeu, estou a muito tempo estudando e batendo cabeça porque é difícil de achar vídeos que é referente a área de Engenharia de dados Mas gostaria de saber o apache airflow ? Como desenvolver o projeto de Engenharia de dados?

[@GregoTech]

Oi Tatielly, tudo bem? Que bom que esta curtindo o conteudo! Sobre o Apache AirFlow como um case em Engenharia de dados, voce pode usar ele de diversas formas, qual tipo de problema você quer resolver?

[@tatiellerodrigues2742]

@@GregoTech estou fazendo curso de airflow achava que criava pipeline, etl, neste curso udemy o problema é para vendas de uma imobiliária O problema é como criar projetos que empresa querem?

[@GregoTech]

@@tatiellerodrigues2742 Entendi, geralmente o Airflow é utilizado na camada de orquestração de pipelines de dados. Então por exemplo, digamos que qualquer empresa tem um processo onde ele tem que buscar dados de um sistema de origem, trata-los e devolver para um sistema de destino, um etl padrão, agora imagina que as empresas não tem apenas esse processo, mas sim vários, onde cada um deles pode ou não depender entre si, a medida que o sistema for evoluindo isso pode se tornar uma dor de cabeça para o engenheiro que trabalha com os pipelines de dados. O airflow entra para auxiliar na criação de pipelines mais robustos e com fácil compreensão das dependencias atraves da interface gráfica, assim como auxiliar no reprocessamento retroativo em caso de falhas. Basicamente sua principal função é trazer todos os pipelines de dados de uma organização para um ambiente unico, visual e controlado. Espero que tenha sido util =)

[@tatiellerodrigues2742]

@@GregoTech Valeu obrigado , agora entendi

[@CELUGames]

Ae, mano. Vou começar em Setembro uma pós em Eng de dados na PUC Minas. Já sou Engenheiro Civil há 4 anos, mas sempre programei python e HTML JS. Será que consigo titulação em Eng. de software no meu CREA com essa pós? Gosto demais da área.

[@GregoTech]

Fala Marcelo, muito legal, a área vai bombar! Sobre a pergunta do CREA eu não sei direito, mas segue um link que pode te ajudar: www.institutodeengenharia.org.br/site/2018/09/28/engenharia-de-software-e-regulamentada-junto-ao-crea/

[@CELUGames]

@@GregoTech Vlw, amigo

[@letsquelets]

@@CELUGames qual seria seu benefício com essa titulação? Fiquei curioso

[@letsquelets]

Poderia comentar sobre a sua opinião agora que já está na pós da PUC há algum tempo? Por coincidência, quase entrei na mesma pós

[@JoaoVictor-bw7js]

Faço Eng de Software na PUC à 2 anos (Bacharel), CREA para a área de computação não existe, pois não é necessário para assinar projetos ou qualquer parte da construção de um software.

[@carlosjosealves]

Quais livros?

[@carlosjosealves]

Obrigado

[@lucasassad945]

indica livros para iniciantes

[@GregoTech]

Python Fluente do Luciano Ramalho =)

[@paulovictor9262]

Opa

[@GregoTech]

Opa

[@felipedeodato1529]

Corinthiavirus

[@GregoTech]

( ͡° ͜ʖ ͡°)