ВВЕДЕНИЕ В AIRFLOW / ПОНЯТИЕ DAG'а / НАСТРОЙКА DAG'а В AIRFLOW

Рет қаралды 39,734

Күн бұрын

Познакомимся с инструментом Airflow. Разберем что такое DAG и как его настраивать.
Ссылка на спикера: / dmitry-brazhenko
🔔 Подписывайтесь на канал "Datalearn" чтобы не пропустить остальные части и ставьте лайки!
📕 Записывайтесь и проходите курс Инженера Данных.
⚠️ КУРС БЕСПЛАТНЫЙ!
🔗 Записаться вы можете на нашем портале datalearn.ru/
👍🏻 Запись на курс даст вам возможность не только просматривать видео, но и получить доступ к закрытым материалам, а также возможность выполнять домашние задания и получить сертификат прохождения курса.

Пікірлер: 41

@gpankov Жыл бұрын

наконец-то кто-то нормальнон про аирфлоу объяснил и показал

@yaroslavsolntsev9909 Жыл бұрын

Весьма приятно было послушать и проверить такскать. Особливо завеселил ответ про настроить ручками графы тасков - нет.

@yabidubidu666 5 ай бұрын

00:00 - 00:00:40 - вступление 00:00:40 - 00:01:40 - вступление от Дмитрия Браженко 00:01:40 - 00:02:35 - краткое описание лекции 00:02:35 - 00:04:40 - для чего Airflow 00:04:41 - 00:05:35 - преимущества Airflow перед Cron 00:05:35 - 00:06:48 - настройка Airflow 00:06:48 - 00:09:24 - сущности Airflow (графы(ДАГи)) 00:09:24 - 00:10:30 - альтернативы Airflow 00:10:30 - 00:11:44 - преимущества Airflow 00:11:44 - 00:13:20 - из чего состоит Airflow (графы(ДАГи), операторы, параметры ДАГа, тэги 00:13:21 - 00:14:45 - недостатки Airflow 00:14:45 - 00:16:39 - устройство Airflow (веб-приложение, планировщик, воркер, БД) 00:16:39 - 00:17:36 - из чего состоит граф (ДАГ) 00:17:36 - 00:17:55 - Практика. Сбор первого простого ДАГа: 00:17:55 - 00:21:13 - Практика. Сбор ДАГа из одного Bash-оператора. Обзор среды PyCharm Дмитрия Браженко 00:21:13 - 00:21:40 - Практика. Сбор ДАГа из одного Bash-оператора. Задумка создаваемого ДАГа 00:21:40 - 00:22:00 - Практика. Сбор ДАГа из одного Bash-оператора. Как работать с Python-файлом ДАГа 00:22:00 - 00:23:32 - Практика. Сбор ДАГа из одного Bash-оператора. Создание ДАГа в Python-файле 00:23:32 - 00:24:48 - Практика. Сбор ДАГа из одного Bash-оператора. Создание оператора в Python-файле 00:24:48 - 00:25:04 - Практика. Сбор ДАГа из одного Bash-оператора. Задание последовательности выполнения ДАГа 00:25:04 - 00:26:35 - Практика. Сбор ДАГа из одного Bash-оператора. Смотрим на результат в Airflow 00:26:35 - 00:26:50 - Практика. Сбор ДАГа из одного Bash-оператора. Смотрим на результат в Airflow. Графовые представления ДАГа 00:26:50 - 00:27:25 - Практика. Сбор ДАГа из одного Bash-оператора. Смотрим на результат в Airflow. Смотрим на логи ДАГа. 00:27:25 - 00:27:40 - Практика. Сбор ДАГа из двух Bash-операторов. 00:27:40 - 00:27:54 - Практика. Сбор ДАГа из двух Bash-операторов. Задумка создаваемого ДАГа 00:27:54 - 00:28:17 - Практика. Сбор ДАГа из двух Bash-операторов. Создание оператора в Python-файле 00:28:17 - 00:28:41 - Практика. Сбор ДАГа из двух Bash-операторов. Задание последовательности выполнения ДАГа 00:28:41 - 00:30:03 - Практика. Сбор ДАГа из двух Bash-операторов. Смотрим на результат в Airflow 00:30:03 - 00:30:21 - Практика. Сбор сложного ДАГа (Bac. Введение 00:30:21 - 00:30:48 - Практика. Сбор сложного ДАГа (Bash). Создание операторов в Python-файле 00:30:48 - 00:34:05 - Пояснение про BashOperator (bash_command 00:34:05 - 00:34:57 - Практика. Сбор сложного ДАГа (Bash). Задание последовательности выполнения ДАГа 00:34:57 - 00:35:44 - Практика. Сбор сложного ДАГа (Bash). Ориентирование в уведомлениях Airflow об ошибках в задании последовательности 00:35:44 - 00:36:45 - Практика. Сбор сложного ДАГа (Bash). Смотрим на результат в Airflow 00:36:45 - 00:37:33 - Практика. Сбор сложного ДАГа (Bash). Итоги 00:37:33 - 00:38:25 - Практика. Сбор ДАГа из Python-операторов. Вступление 00:38:25 - 00:38:50 - Практика. Сбор ДАГа из Python-операторов. Задумка создаваемого ДАГа 00:38:50 - 00:39:29 - Практика. Сбор ДАГа из Python-операторов. Создание ДАГа 00:39:29 - 00:42:45 - Практика. Сбор ДАГа из Python-операторов. Описание прототипа Python-операции в Jupiter 00:42:45 - 00:43:42 - Практика. Сбор ДАГа из Python-операторов. Создание 1го оператора00: 00:43:42 - 00:45:16 - Пояснение про привязку оператора к ДАГу 00:45:16 - 00:45:48 - Практика. Сбор ДАГа из Python-операторов. Создание 1й Python-функции для 1го оператора. 00:45:48 - 00:46:16 - Практика. Сбор ДАГа из Python-операторов. Пояснение об особенности кода для Airflow. 00:46:16 - 00:47:07 - Практика. Сбор ДАГа из Python-операторов. Создание 2го оператора и 2й Python-функции 00:47:07 - 00:48:20 - Практика. Сбор ДАГа из Python-операторов. Особенности запуска кода (временная директория/корневая директория) 00:48:20 - 00:48:53 - Пояснение про особенности хранения получаемых с помощью ДАГов данных 00:48:53 - 00:49:07 - Практика. Сбор ДАГа из Python-операторов. Задание последовательности выполнения ДАГа 00:49:07 - 00:49:51 - Практика. Сбор ДАГа из Python-операторов. Смотрим на результат в Airflow 00:49:51 - 00:51:55 - Практика. Сбор ДАГа из Python-операторов. Проверка результата 00:51:55 - 00:53:55 - Пояснение про принцип создания кода для Airflow с любыми видами операторов 00:53:55 - 00:56:17 - Пояснение про мониторинг хода выполнения операций Airflow (логгирование) 00:56:17 -00:59:25 - Пояснение про имя ДАГа как имя переменной 00:59:25 - 01:01:38 - Параметры ДАГа 01:01:38 - 01:03:06 - Практика. Добавление параметров ДАГа 01:03:06 - 01:03:43 - Практика. Добавление параметров ДАГа. Проверка результата ч.1 01:03:43 - 01:04:04 - Пояснение про логгирование последовательности выполнения одного ДАГа за другим 01:04:04 - 01:07:23 - Пояснение про автоматическое проставление последовательностей выполнения операторов 01:07:23 - 01:08:07 - Практика. Добавление параметров ДАГа. Проверка результата ч.2 01:08:07 - 01:08:48 - Переменные Airflow (хранение паролей, токенов, хостой и прочей информации в переменной) 01:08:07 - 01:11:12 - Практика. Создание переменной в настройках Airflow 01:11:12 - 01:11:34 - Практика. Создание переменной в настройках Airflow. Проверка результата ч. 1 01:11:34 - 01:12:11 - Пояснение про невозможность проставлять зависимости между операторами в веб-интерфейсе Airflow 01:12:11 - 01:14:26 - Практика. Создание переменной в настройках Airflow. Проверка результата ч. 2 01:14:26 - 01:25:18 - Разбор операций с DockerOperator 01:25:18 - 01:29:11 - Пояснение про триггер запускающий ДАГ 01:29:11 - 01:30:15 - Пояснение про ручной запуск ДАГа 01:30:15 - 01:32:44 - нетворкинг 01:32:44 - 01:32:44 - Пояснение про создание последовательностей в сложных ДАГах 01:33:34 - 01:35:24 - Не рекламная интеграция альтернативы Airflow 01:35:50 - 01:38:11 - Пояснение про автоматический запуск ДАГов из других сетей/серверов 01:38:11 - 01:41:31 - ликбез и ресурсы железа, необходимые для работы Airflow 01:41:31 - 01:41:31 - Пояснение про простоту перехода с 1й версии Airflow на 2ю 01:41:31 - 01:43:12 - нетворкинг 01:43:12 - 01:43:40 - заключение

@yabidubidu666 7 ай бұрын

Очень крутое и полезное видео! Огромное спасибо, многое стало понятно :)

@SunIsland227 3 жыл бұрын

Спасибо вам!! А можно ещё пожелание) по Pentaho DI сделать дополнительный ролик по- больше ещё примеров..а то есть только установка 4.1..и самые простые основы 4.2. Павел Новичков рассказывал.

@maksimkuznetsov2132 Жыл бұрын

Спасибо за обзор

@alexandratopalidi2572 Жыл бұрын

Спасибо огромное❤

@mlbb-maniac 6 ай бұрын

Блин видео круто. Боже кто-то задал вопрос что такое баш команда, человек даже не открывал терминал и уже в девопсы хочет 😮

@lanalarsen1935 Жыл бұрын

Есть презентация из видео ?

@maksimsvirskiy6828 3 жыл бұрын

говорили ссылка будет на гит ... и презу как посмотреть с ссылками?

@dmitrybrazhenko8695 3 жыл бұрын

Код: github.com/dmitry-brazhenko/airflow_tutorial Презентация: docs.google.com/presentation/d/1fpKEyoZul6hz2wR4idvHF1FGSoG078TMwwvm3f0yQeI/edit#slide=id.gf7633a37fa_0_20

@Mytest437 Жыл бұрын

Презентация интересная, но разрешение видео очень печальное. Могли бы уж 2022 году по лучше записать.

@alexandrchikur5993 3 жыл бұрын

Замечательный контент, отличный компетентный спикер... Если бы только количество фраз "не могу дать конкретный ответ", "вот с эти лучше к линуксоидам", "я уверен, что так можно, но не знаю как", "не смогу точно по цифрам сказать", "такого опыта не было" не переваливало за десяток, ато и двадцаток.

@Pipitkov 2 жыл бұрын

Я уже хотел вам написать вам в ответ после первых ваших слов, потом дочитал. То же самое впечатление. Спикер - просто пользователь аирфлоу и даже не имеет в принципе широкого кругозора. Про железо какие-то сказки сказал, не понимает простых вопросов..

@sio80orel 2 жыл бұрын

@@Pipitkov "если бы ты знал женскую тоску по сильному плечууу")) проще надо быть - че знает то рассказывает, и на том - ОГРОМНОЕ спасибо, реально. А вот все эти детские комплексы можно оставить и при себе, а не транслировать их в комментах

@AnatoliyBulgakov Жыл бұрын

Здравствуйте! А где можно получить ссылку и презентацию?

@donfedor007 3 жыл бұрын

Добрый вечер! Как сделать запуск дага с параметрами? Передаваемыми из UI, например нужно загружать данные, частично или полностью. Добавить опцию выбора.

@Mike_Che 2 жыл бұрын

Отличное введение в AirFlow! Ссылочку на презентацию можно?

@alexandrgotlib2312 10 ай бұрын

всё супер но не помешало бы приложить репозиторий с лабораторкой в гитхабе что бы каждый мог по играться

@ЛарисаПетрова-ъ6ш 3 жыл бұрын

Всем привет! Спасибо за видео) Подскажите пожалуйста, какие параметры можно указывать в словаре default_args дага?

@Александр-ъ3о1щ 3 жыл бұрын

У меня во втором задании вышла ошибка после того как пытаюсь сохранить titanic dataframe в csv файл: PermissionError: [Errno 13] Permission denied: 'df.csv' Сам Airflow у меня развернут в докере на моем компе. Вопрос - какие права надо править? К папке dags в моем компе или это ошибка внутри докера? Вобще непонятно что делать...

@ddichetovkin Жыл бұрын

Как сделать так, чтобы папка в докере, повторяла папку в компе? В начале ролика Дмитрий показывал, что у него папка сразу синхронизируется

@datalearn4398 Жыл бұрын

там же есть команда COPY . которая копирует все из текущей папке в контейнер

@MrBorA8572 Жыл бұрын

Использовать volume?

@maksimkuznetsov2132 Жыл бұрын

Есть проприетарные механизмы. Которые юзаются только в отдельных компаниях и никуда не выкладываются.

@evgends 2 жыл бұрын

Парень докладчик молодой, очень волновался понимаю какого это все мысли путаются, как на реальном собесе ceбя чувствуешь)

@evgends 2 жыл бұрын

И вообще вам всем сюда: kzbin.info/www/bejne/iqfdlJJohZt4rNE

@green1278dramost5 Жыл бұрын

Спасибо!

@mlbb-maniac 6 ай бұрын

Позабавили вопросы , которые относятся не к airflow, а к самому пайтону, я как разработчик на пайтоне перешедший в девопс очень умиляюсь вопросам по пространству имён

@paleface_brother 3 жыл бұрын

25:14 У нас тоже новые DAG'и не сразу появляются в интерфейсе, ждём пару-тройку минут.

@snumric 2 жыл бұрын

Познания спикера странны. Открываем конфигурационный файл и читаем цит."# How often (in seconds) to scan the DAGs directory for new files. Default to 5 minutes. dag_dir_list_interval = 300"

@РетроГеймерпоневоле 2 жыл бұрын

Блин я не понял в чем сложность запустить последовательно тысячу джобов for task in tasks: t=t>>task Должно сработать

@РетроГеймерпоневоле 2 жыл бұрын

>> это оператор действия над обьектом и поэтоу ничего не мешает выполнить его в цикле . а таски перебирать в цикле

@UraGagarin1961 Жыл бұрын

,ура

@НикитаБуров-ъ6р 3 жыл бұрын

like for DinD example

@voinmerk 2 жыл бұрын

Вот

@snumric 2 жыл бұрын

Странный ролик, про настройку окружения ни слова, открываем пишем.

@mikhailkaravaev5668 Жыл бұрын

Ну да: открываем и работаем. А как настроить? -- Так уже всё настроено)) Ролик, наверное, полезный, но чтобы с нуля установить и настроить Airflow, надо найти соответствующее видео. Но тогда нужно ли будет это видео?

@yaroslavsolntsev9909 Жыл бұрын

Докер в помошь, если нужно без хардкора.@@mikhailkaravaev5668