Кто такой Data Engineer | Инженер данных

[@yaroslavsizov7412]

Спасибо за видео! Как лучше всего начать свой путь в мир data engineering?

[@DataLikeQWERTY]

korsak0v.notion.site/Data-Engineer-185c62fdf79345eb9da9928356884ea0

[@smartflex-sx8ix]

Круто

[@smartflex-sx8ix]

Расскажи пж по подробнее про команды ядра

[@elektromag5524]

что такое ядро? может быть row слой? почему его вдруг должна собирать какая то отдельная команда а не airflow airbyte kafka dagster и т. д.?

[@DataLikeQWERTY]

Добрый день. Вы говорите про мягкое, а я в видео говорю про тёплое. Core - это условное деление команд. Core-команда может использовать разные инструменты: Airflow, AirByte, etc. Это всего лишь инструменты. Выбор технологий зависит от Teach Lead, CDO, Principal Data Engineer. RAW слой - это слой сырых данных, его могут и обычно собирает команда ядра (core). Точно также core-команда может собирать ODS, DDS слои и в редких случая DM, о чём я сказал в видео. И повторюсь немного: выбор инструмента зависит от многих параметров. Поэтому в core-команде может быть всё, что вы перечислили.

[@elektromag5524]

@@DataLikeQWERTY я не знаю что у вас за команда, но у нас DE не делится. есть задача от заказчика и есть сотрудник, который ее выполняет. да хоть Peer DB или табличная функция postgresql будет использоваться для ETL/ELT процесса PG->CH. Принцип работы одинаковый без разницы какой слой собирается. Есть заказчик с тз и есть исполнитель.

[@Sho_Kavo]

привет) будут ещё видосы?

[@DataLikeQWERTY]

Будут. Монтируется новый выпуск