Data Engineer 2022 | Дорожная карта | Александр Савченко | karpov.courses

Курс Data Engineer: bit.ly/3NTtmwj
В начале своего пути всегда сложно сразу сориентироваться в технологиях, которые применяются в разработке.
Мы подготовили дорожную карту для специалистов сферы Data Engineering.
Уверены, это поможет расширить и структурировать ваши знания.
Материалы используемые в видео: github.com/AlexKbit/de-roadmap
Учитесь Data Science с нами: karpov.courses/

[@Frezer911]

Топовое видео в рунете, структурно раскладывающее требования к дата инженеру. В моем случае упорядочило мои знания.

[@user-pl7jy5ee2d]

Отличное видео! Спасибо большое! Огромная работа проделана. Поделитесь, пожалуйста, pdf дорожной карты

[@alexkbit]

Добавили все в описание к видео

[@user-pl7jy5ee2d]

@@alexkbit Спасибо!

[@user-md3wb4th9v]

Yandex DB можно отнести к MPP ?

[@habovskiy647]

Это не Data Engineer это Data Terminator какой-то....

[@AlexCoder007]

😂

[@aidartimerbayev9600]

Абсолютно согласен!!!🥶

[@phoenixgames4244]

Это список вопросов для дата инженера на позицию трейни?! O_o

[@dobryialex]

Спасибо за ваш труд ! И пара вопросов : 1. В какой последовательности или по какой системе изучать все эти разделы ? 2. На ваших курсах изучается весь этот объем ? Ещё раз спасибо !

[@user-by8um8bk1w]

Спасибо за видео, схемой поделитесь?

[@dmitriidoronin2114]

+

[@SergeyTarabara]

+

[@vadimvadim1662]

ещё интересно в чем рисовали?)

[@alexkbit]

Добавили все в описание к видео

[@vadimvadim1662]

что в 2022 должен знать ds(roadmap)?

[@alexkbit]

Да я думаю ребята с направления DA/ML тоже позже сделают

[@vadimvadim1662]

@@alexkbit будем ждать)

[@coopercoin]

В одного человека реально это всё запихать? Работаю в Ops просто так тут отдел на em, на unix, на dba etc. Возможно схеме не хватает глубины в качестве одной из метрик, или я просто настолько отстал от жизни

[@Eugene11453]

Аналогичная мысль. Такое ощущение, что это техстек для команды человек на 10 минимум

[@user-by8um8bk1w]

​ @Alexander Savchenko что думаете?

[@alexkbit]

У каждого специалиста будет свой взгляд что именно нужно знать о том или ином инструменте. DevOps Eng. скорее будет интересовать как разворачивается инструмент, как делаются бэкапы, восстановление, как масштабируется. У DE Eng. свой взгляд - плюсы/минусы хранения и использования. Это дорожная карта, вам не обязательно знать все, вы можете обращаться только к тем инструментам которые нужны.

[@Eugene11453]

Это должен 1 человек все знать и уметь? Тут технологий на целую команду: от девопсеров и разрабов до дата-архитекторов

[@MaruiInfantry]

Это больше похоже на схему деливери отдела, а не на базу знаний. Там более 100 листов выходит у этого дерева в итоге. Чувак час перечисляет просто все эти листы и разветвления до них. Перечисляет, Карл, только час. Это скоуп человек на 50-200.

[@alexkbit]

Это дорожная карта, она скорее поможет вам понять какие технологии вам нужны сейчас для ваших задач, и что еще можно развить. Обычно чем больше опыта у человека тем больше будет по ней покрытия.

[@Eugene11453]

@@alexkbit ну как сказать. Например, я для своей команды брал бы в 1ую очередь, человека хорошо знающего spark, hdfs и sql. А для девопса у нас отдельное подразделение есть, на входе можно ничего не знать, они покажут. Я смотрел видео, чтобы понять, насколько мой опыт в этом релеванитен по рынку, и может, что-то закрыть из гепов. Пока выглядит, что у меня геп = 90% от этой карты и не понятно: 1 за что хвататься, 2 реально ли это все нужно , например, тимлиду/продукт оунеру

[@Gliderous]

@@Eugene11453 Так ответ выше не противоречит вашей логике. Автор ролика даёт покрытие всей профессиональной области, а вы акцентируете внимание на конкретном стеке из этого покрытия. Тут речь про Общее и Частное. Вы же понимаете, что если у вас в хранилище только реляционные БД, то нет необходимости учить нереляционные.

[@habovskiy647]

@@MaruiInfantry я смотрел на скорости 1.5. Получилось чуть больше получаса. :D

[@alazarnfreeman9216]

Не о чем, все свалили в кучу

[@dmitriyobidin6049]

Лучше просто разрабом на бэкенд пойти, зарпалаты там побольше.

[@ihorferenets3653]

Отлично, дайте схему )))

[@karpovcourses]

Лежит в описании к видео! :)

[@alexv15310]

Это все возможно знать одному живому человеку?

[@maksimponomarev3610]

Да, фундаменталку в вузе получают и параллельно конкретные технологии сами осваивают

[@Slavlotski]

PowerBI нет в блоке визуализации 😱

[@ivani3237]

ну зато там superset есть

[@Aquariuz1887]

Apache Impala - это не субд, я бы её отнёс к механизму распределённых SQL запросов к Trino, Presto и тд.

[@batnasn]

Воды много

[@user-tr5js3px4x]

Ты сам вода