Как стать Дата Инженером (Data Engineer) и получить работу в 2021-2022 году

В комментариях к другим моим видео ребята спрашивают о том, как построить дорожную карту, чтобы войти в профессию Дата Инженера. Так как я сам недавно только прошел этот путь и получил работу по этой специальности, то делюсь своим личным опытом что необходимо знать, чтобы стать Дата Инженером.
Ссылка на шпаргалку по карьерному треку: github.com/vvandriichuk/data-engineer-roadmap/blob/master/README.md
Ссылка на мой личный карьерный трек и сколько потратил денег: gazolin-production.com/files/vandriichuk_roadmap.png
#ДатаИнженер, #РаботаДатаИнженером, #DataEngineer

[@defcode_art]

Блииин))) У тебя пасека)) Красавчик!) Мы с тобой коллеги получается не только в программировании)

[@elenagavrilova3109]

Спасибо! Очень интересно.

[@pavel7914]

Добрый день. Хочу начать курс по DE. Есть ли у вас на примете хороший курс по Linux и серверам? То, о чем вы говорили?

[@adambolotov1809]

как дела с автоматищацией этой профессии? Есть смысл еще в 2023 начинать изучать с нуля? (из скиллов только начальный python и англ) Почему то когда только впервые вник в ее суть то сразу почувствовал что она одна из первых должна быть автомаоизирована скорее всего.

[@akliman9932]

Знание англ язык - это hard skill, а вот умение решать на нем вопросы с иностранным коллегой или заказчиком, это soft. 😂😂

[@MozgopravTV]

А какой курс хороший по DE? отдельный от DA

[@fxyofical1704]

Спасибо за видео. Мидлом сразу это мощно. Я тоже начинал обучение с DS, в Geekbrains (та ещё хрень). Поучился в лайтовом темпе год-полтора. Потом ещё интенсивно 4 месяца учился на спираченных курсах по DE. И месяц на курсах от компании, где теперь работаю. В итоге работаю на банк, пишу витрины на pyspark (90% SQL, 10% python). Никакой романтики, микросервисов, двх, дашбордов и облаков 😢

[@DataEngineersWeekdays]

В большинстве случаев дата инженер - это рутина и никакого творчества. Это точно. Сам с этим сталкиваюсь постоянно. Спасаюсь тем, что делаю пет проджекты типа фул стек

[@esorramoxin2468]

Что за курсы, если не секрет ?

[@abrafgesvbeac3676]

Здравствуйте. Большое спасибо за видео, невероятно полезно. Скажите пожалуйста, может ли Go Lang заменить Java? Как я понимаю цель у них одна, в реализации каких-то микросервисов и API? Но Go попроще и поновее как мне кажется. Большое спасибо еще раз, всего хорошего.

[@vandriichuk]

Вы знаете, я не подскажу. Не работал но разу с Го, никак вообще не соприкасался. Я больше изучаю языки под свои задачи - а это Дата инженерия.

[@abrafgesvbeac3676]

@@vandriichuk Спасибо!

[@vityaost]

​@@abrafgesvbeac3676не заменит. На жаве очень много проектов

[@timikys2]

Отличное видео, снимите про зарплаты дата инженеров)

[@DataEngineersWeekdays]

За зарплаты не скажу, так как даже внутри одной компании никто не делится этим. Думаю, что лучше ориентироваться на сайты работ.

[@VladimirBarsuk]

В otus первое упражнение на курсе de - парсер hh ресурсов на предмет скиллов и уровней ЗП в разных регионах мира:)

[@user-cs9gt9rn8n]

Планирую с 1С перейти в DS. Прочитал 10 стр. понял, что нужно начать с английского и Python. Продвигаюсь. Какая ситуация на рынке труда DS в Киеве в связи с войной?.

[@DataEngineersWeekdays]

Да, Python и английский - с этого нужно начать

[@vasia19941]

Дякую за контент. Два питання: 1) які реальні факти вказують на те, що Data Engineer зможуть замінити в найближчий час? 2) стосовно джуна, бажано вивчитись до такого рівня щоб одразу зайти на мідла?

[@vandriichuk]

Дякую за запитання. 1) Можна сказати, що це мої аналітичні висновки. Факти такі: а) ІТ індустрія зараз оцінується в близько 4 трлн доларів - це шалені гроші, це більше, ніж бюджети на всі армії світу; хто не захоче сісти на ці потоки? б) шалений розвиток ШІ - вони вже пишуть середньої складності коди; в) стандартизація інфраструктури, 80% часу займають рутинні операції, які в принципі не важко стандартизувати; г) вже зараз багато проектів, які пропонують No Code сервісів для бізнесу; д) ріст зарплат програмістам - який бізнес не захоче економити на цій статті? 2) Стосовно джуна - з мого досвіду і дивлячись на ринок, я бачу, що дуже важко знайти свою першу роботу, після першої роботи постійно сипляться пропозиції. Це може і не про джуна трохи, але взагалі дуже важко робити градації на джуна, мідла і тд - в кожній компанії це все індивідуально і різниться; важливо як Ви себе відчуваєте.

[@DimosLaykos]

Что, в итоге, можете сказать про курс от skill factory? Что там за проект?

[@DataEngineersWeekdays]

Учился три года назад. Не знаю как там сейчас обстоят дела.

[@galymbaubek8852]

Отличное видео. Какие книги и литературу Вы прочитали?

[@DataEngineersWeekdays]

Я бы порекомендовал для начала почитать "SQL. Сборник рецептов", Энтони Молинаро и "Высоконагруженные приложения", Мартин Клеппман.

[@galymbaubek8852]

@@DataEngineersWeekdays Спасибо за Молинаро, Клеппмана уже читаю. Еще вопрос. Следуя принципу Парето, какое из пройденного(курсов, книг и др.) дало 80% результата? Что являлось теми самыми эффективными 20%?

[@DataEngineersWeekdays]

@@galymbaubek8852 это очень сложный вопрос. думаю, что не смогу на него ответить точно. потому что все внесло свою лепту в общее дело, в общую копилочку. думаю, что курс по БигДата, который я проходил осенью и на который немного возлагал надежду, от NewProLab оказался самым бесполезным, но и одним из самых дорогих. Даже курс по NLP, который я брал и тоже возлагал на него надежды, но я к нему оказался не готов, все равно дал положительные вещи, так как это дало толчок к изучению NLP и я смог применить полученные знания на одном из проектов. В общем не могу ответить на Ваш вопрос под таким углом.

[@nickolaypanasyuk9711]

@@DataEngineersWeekdays А поделитесь, пожалуйста, что именно разочаровало в курсах от NewProLab? Сейчас рассматриваю курсы, из вариантов NewProLab и OTUS. Буду благодарен за любую информацию!

[@DataEngineersWeekdays]

@@nickolaypanasyuk9711 , я проходил от NewProLab курс по BigData. Он состоял из двух частей: первая часть про Data Engineering, вторая часть - про Data Science. Data Science был достаточно поверхностым и мне было не интересно, так как я это уже все знал, но это занимало 50% курса. Data Engineering для меня на тот момент был очень сложным и тоже было не интересно. В общем я быстро потерял интерес к этому курсу. Хорошо, что у меня была оплата частями и я оплатил только два из четырех платежей. Они набрали много слушателей, но вообще не проверяли наш уровень. Нужно было им провести отбор людей, чтобы туда пришли те, кто потянул бы курс по знаниям. Это мое мнение. По поводу OTUS, то я к ним присматривался несколько раз, но так ни разу у них ничего и не проходил - цена была достаточно высокая. Они предлагали разбить на несколько частей оплату, но частей было мало и все равно выходило дорого. Плюс я к тому времени уже немного устал от дорогих курсов и поэтому не стал у них проходить. Поэтому ничего за качество сказать не могу. Вот сейчас решился еще на один курс от robots dreams. Хочу немного подтянуть PySpark. У них появился достаточно интересный, как по мне, курс, который включает и эту часть. И по цене достаточно комфортно для меня. Про качество смогу рассказать после прохождения (через 2.5 месяца).

[@galymbaubek8852]

Кстати по сравнению с 1м видео огромный скачок в подаче материала! )

[@simon0295]

Посоветуйте курсы по докеру, которые проходили.

[@DataEngineersWeekdays]

www.udemy.com/course-dashboard-redirect/?course_id=3160868, www.udemy.com/course-dashboard-redirect/?course_id=3769570, kzbin.info/www/bejne/h3eXi3luapygapY

[@akliman9932]

Как 7 тыс дол?? 😳😳😳В первои видео ты же говорил, что потратил 3-4? 🥴🤔

[@MisaNia25]

Как изучаете Java? По какому курсу?

[@DataEngineersWeekdays]

Месяц учился по курсам на Udemy. Понял, что это не системно как-то. Нужна систематизация. Поэтому сейчас взял курс SkillFactory по Java. Начинаю сегодня. Посмотрим, что из этого больше.

[@luckytima2315]

Иди на java rush и все, там задания есть хотя бы, а не просто на Udemy видосики смотреть.

[@user-bb8qr6xl5s]

@@DataEngineersWeekdays почему джава? Почему не пайтон ??

[@teo5998]

Какой уровень математики нужен для ДИ?

[@vandriichuk]

За полгода ни разу не пригодилась. Думаю, что и дальше будет так же.

[@teo5998]

@@vandriichuk спасибо! А ещё вопрос. Я посмотрел несколько ваших видео. Можете ли вы себя считать уже мидлом?

[@vandriichuk]

@@teo5998 я начал считать себя мидлом полгода назад и так и подаю себя. В целом же сложно судить о себе, тем более, что мало вокруг мидлов, с котороыми я могу себя сравнить. Я решаю реальные задачи. Могу разбираться в новом. Мне не нужен надсмотрщик. На текущем месте работы мы изолированы по проектам и почти нет общения между коллегами - не с кем себя сравнить. Но вот собесы прохожу уверенно. Сейчас снова стал проходить собесы через полгода как устроился на первую работу. Сейчас проще проходить рекрутеров и технические собесы без особых проблем прохожу. А так, конечно, всегда есть что изучить глубже; есть те, кто знает больше.

[@teo5998]

@@vandriichuk Огромное спасибо!

[@ulanyisaev2818]

@@vandriichuk а вот интересно, если команды изолированные, то как у вас code review проходит?

[@luckytima2315]

В чем преимущества питона? Ну типа в простоте быстроте написания! Я думаю не открою секрет насчёт дописки про простоту, чем проще структура данных, тем нечитабельнее код в перспективе роста проекта, вот преимущества питона как первого яп: непонимание типов данных, непонимание связей структур данных, непонимание абстракций, 95% питонщиков пишут в императивном стиле, им кто то сказал что питон объектный язык, но что такое объект спроси их и бэ мэ их ответ будет. Имхо java

[@vandriichuk]

Дата инженер- это в первую очередь про данные и работу с ними. Язык тут вторичен. Под Питон сейчас много заточено потому что Дата Сайенс. А так да, Вы правы

[@med8481]

Скули дальше

[@ivani3237]

первый язык для DE - sql.

[@mikhailkuznetsov4643]

Java отличный язык, но в DE его очень немного - Python/Scala - основные языки.

[@DataEngineersWeekdays]

В общем-то я с Вами согласен. Но три месяца назад была мысль сначала изучить хотя бы Java Core, чтобы дальше было проще понять Scala. Не знаю, насколько это было правильно. Вроде немного разобрался с Java, теперь начинаю переходить на Scala

[@ulanyisaev2818]

@@DataEngineersWeekdays Согласен, я вот сперва Java изучил, поработал несколько месяцев разработчиком и лишь потом перешел в data engineering))

[@user-bb8qr6xl5s]

@@ulanyisaev2818 а какже пайтон ?

[@ulanyisaev2818]

@@user-bb8qr6xl5s Python после Java изучается за пару недель вечерами:) Сейчас да, на проекте только Python + SQL - без них никуда.

[@user-bb8qr6xl5s]

@@ulanyisaev2818 выходит надо сразу пайтон учить) чтоб время зря не тратить

[@romariozx]

Пасека, пасека, пасека. А у меня есть пасека Двенадцать новых ульев По трое в ряд стоят они Ряда четыре будет Если ты алкоголь, или одеколон Применял - покусают Будь хоть президент Америки ! У пчёлок нету выходных У пчёлок только будень Но к сожаленью среди них Живёт ленивый трутень Он не делает мёд Только жрёт, спит и cрёт Очень часто он cрёт Превосходный удод, прилетай И лентяя поймай И сожри на обед его ! Настанет пора - прекратится цветенье Деревья и травы утратят цветы Не время кататься на велосипеде Готовься к приходу зимы Сверху вниз Снег !!! Я пчёлкам буду помогать, Заставлю меньше есть Как хорошо, что у меня Пасека, пасека, пасека Есть !

[@user-cx8dw7vt7e]

Капец голимая реклама))

[@great_filter]

просто вбило "я не розглядаю позицію джуна, як перспективну". Я б рада зараз працювала сінором, але таке вже життя, що не можливо стати сініором не будучи мідлом і стати мідлом не будучи джуніором.... Проблеми і джуніор не створює... хто б там що не сказав, але найбільш поширена градація джун-мідл-сініор це по досвіду роботи і якщо судити по виходу відео, то автор досі джуніор.

[@vandriichuk]

це Ваше право - Ви можете думати все, що завгодно ) мені від цього ні холодно, ні жарко ) але по великому рахунку так, чим більше я знаю, тим більше я розумію, що нічого не знаю ) але мене це зараз вже все менше "парить" ) я просто працюю і заробляю гроші, а не міряюсь пісюнами званнями та статусами ) головне - це внутрішнє відчуття себе і свого місця ) мій девіз зараз - завтра знати більше, ніж сьогодні )

[@user-cs9gt9rn8n]

Думаю, на це не варто звертати увагу. Кому як пощастить. Головне - знання і вміння. Будете готові - робота сама вас знайде.