Data Engineer 2022 | Дорожная карта | Александр Савченко | karpov.courses

Курс Data Engineer: bit.ly/3NTtmwj
В начале своего пути всегда сложно сразу сориентироваться в технологиях, которые применяются в разработке.
Мы подготовили дорожную карту для специалистов сферы Data Engineering.
Уверены, это поможет расширить и структурировать ваши знания.
Материалы используемые в видео: github.com/Ale...
Учитесь Data Science с нами: karpov.courses/

[@Frezer911]

Топовое видео в рунете, структурно раскладывающее требования к дата инженеру. В моем случае упорядочило мои знания.

[@ТаняВ-ц4н]

Отличное видео! Спасибо большое! Огромная работа проделана. Поделитесь, пожалуйста, pdf дорожной карты

[@alexkbit]

Добавили все в описание к видео

[@ТаняВ-ц4н]

@@alexkbit Спасибо!

[@amondberzal6195]

Сначала подумал "классное видео" ,все по полочкам. Лайкнул и подписался. Глянул до конца-отменил свои действия. Это КАША. Тут вам и тестировщик и девопс и всё на свете...

[@KirillP-b1v]

Спасибо за видео, схемой поделитесь?

[@dmitriidoronin2114]

+

[@SergeyTarabara]

+

[@vadimvadim1662]

ещё интересно в чем рисовали?)

[@alexkbit]

Добавили все в описание к видео

[@phoenixgames4244]

Это список вопросов для дата инженера на позицию трейни?! O_o

[@habovskiy647]

Это не Data Engineer это Data Terminator какой-то....

[@AlexCoder007]

😂

[@aidartimerbayev9600]

Абсолютно согласен!!!🥶

[@daanhelfer1461]

data dungeon master 🍌

[@vadimvadim1662]

что в 2022 должен знать ds(roadmap)?

[@alexkbit]

Да я думаю ребята с направления DA/ML тоже позже сделают

[@vadimvadim1662]

@@alexkbit будем ждать)

[@ВасяИванов-л6э]

Yandex DB можно отнести к MPP ?

[@coopercoin]

В одного человека реально это всё запихать? Работаю в Ops просто так тут отдел на em, на unix, на dba etc. Возможно схеме не хватает глубины в качестве одной из метрик, или я просто настолько отстал от жизни

[@Eugene11453]

Аналогичная мысль. Такое ощущение, что это техстек для команды человек на 10 минимум

[@KirillP-b1v]

​ @Alexander Savchenko что думаете?

[@alexkbit]

У каждого специалиста будет свой взгляд что именно нужно знать о том или ином инструменте. DevOps Eng. скорее будет интересовать как разворачивается инструмент, как делаются бэкапы, восстановление, как масштабируется. У DE Eng. свой взгляд - плюсы/минусы хранения и использования. Это дорожная карта, вам не обязательно знать все, вы можете обращаться только к тем инструментам которые нужны.

[@dobryialex]

Спасибо за ваш труд ! И пара вопросов : 1. В какой последовательности или по какой системе изучать все эти разделы ? 2. На ваших курсах изучается весь этот объем ? Ещё раз спасибо !

[@Eugene11453]

Это должен 1 человек все знать и уметь? Тут технологий на целую команду: от девопсеров и разрабов до дата-архитекторов

[@MaruiInfantry]

Это больше похоже на схему деливери отдела, а не на базу знаний. Там более 100 листов выходит у этого дерева в итоге. Чувак час перечисляет просто все эти листы и разветвления до них. Перечисляет, Карл, только час. Это скоуп человек на 50-200.

[@alexkbit]

Это дорожная карта, она скорее поможет вам понять какие технологии вам нужны сейчас для ваших задач, и что еще можно развить. Обычно чем больше опыта у человека тем больше будет по ней покрытия.

[@Eugene11453]

@@alexkbit ну как сказать. Например, я для своей команды брал бы в 1ую очередь, человека хорошо знающего spark, hdfs и sql. А для девопса у нас отдельное подразделение есть, на входе можно ничего не знать, они покажут. Я смотрел видео, чтобы понять, насколько мой опыт в этом релеванитен по рынку, и может, что-то закрыть из гепов. Пока выглядит, что у меня геп = 90% от этой карты и не понятно: 1 за что хвататься, 2 реально ли это все нужно , например, тимлиду/продукт оунеру

[@Gliderous]

@@Eugene11453 Так ответ выше не противоречит вашей логике. Автор ролика даёт покрытие всей профессиональной области, а вы акцентируете внимание на конкретном стеке из этого покрытия. Тут речь про Общее и Частное. Вы же понимаете, что если у вас в хранилище только реляционные БД, то нет необходимости учить нереляционные.

[@habovskiy647]

@@MaruiInfantry я смотрел на скорости 1.5. Получилось чуть больше получаса. :D

[@Aquariuz1887]

Apache Impala - это не субд, я бы её отнёс к механизму распределённых SQL запросов к Trino, Presto и тд.

[@alexv15310]

Это все возможно знать одному живому человеку?

[@maksimponomarev3610]

Да, фундаменталку в вузе получают и параллельно конкретные технологии сами осваивают

[@daanhelfer1461]

Гринплюм, гринплан… гринплам!

[@dmitriyobidin6049]

Лучше просто разрабом на бэкенд пойти, зарпалаты там побольше.

[@Slavlotski]

PowerBI нет в блоке визуализации 😱

[@ivani3237]

ну зато там superset есть

[@alazarn7]

Не о чем, все свалили в кучу

[@HelgaPolikova]

не в кучу, а по полочкам, по темам и направлениям, причён неоднократо автор подчёркивал, что не надо во все погружаться с головой - хватит и понимания принципов и возможностей работы этих пунктов. Осваивай глубоко то что нужно по работе и имей понятия о том, что там в этой сфере есть. Не вечно же будешь на одной базе сидеть... А всё кончается внезапною

[@ihorferenets3653]

Отлично, дайте схему )))

[@karpovcourses]

Лежит в описании к видео! :)

[@batnasn]

Воды много

[@ВладиславИванов-в6ш]

Ты сам вода

[@atli4nikk160]

greenplume топ