Обработка данных на Apache Airflow в Yandex Cloud

[@YandexCloudPlatform]

Таймкоды: 00:00 Интро 00:10 Apache Airflow: обзор 09:25 Сценарии использования 13:55 Загрузка и обогащение данныхв Yandex Data Proc 36:05 Обработка данныхв хранилище Greenplum® 45:44 Полезные ресурсы и материалы 46:49 Сессия Q&A

[@worminhole4146]

Репозиторий с исходниками здесь: github.com/yandex-cloud/yc-architect-solution-library/tree/main/demos/airflow-DataProc%2BETL NB: Сервисный аккаунт (в коде дага это переменная YC_DP_SA_ID) при создании должен иметь роли "editor" и "dataproc.agent". В противном случае, создать-удалить кластер не получится.

[@ManticoreRoko]

Отличный материал и примеры. Очень хочется больше видео на данную тематику, в т.ч. со свежерелизнутым Manage Service for Apache Airflow, а также с будущим Manage Service for Apache Spark

[@YandexCloudPlatform]

Здравствуйте, Павел! Спасибо за фидбек. Уже передали все ваши пожелания команде 😇

[@ulmasjonkilichov487]

Как можно создать несколько воркеров airflow?

[@YandexCloudPlatform]

Здравствуйте! Чтобы сделать несколько воркеров, вам необходимо развернуть Airflow в многонодной конфигурации и использовать подходящий Remote Executor. Подробнее об этом вы можете прочитать в документации: clck.ru/35dRpb