Airflow и MLFlow автоматизаций пайплайнов Machine Learning / MLOps

Разверните облачный сервер для Data Science в Selectel: slc.tl/JSss5, получите 1000 бонусных рублей по промокоду miracl6
Новая группа про Data Science ВКонтакте pymagic
Курс Data Science для начинающих PyMagic
Подробная информация о курсе, программа обучения по ссылке - pymagic.ru
Репозиторий с кодом из видео:
github.com/miracl1e6/auto-pip...
Доументация Airflow airflow.apache.org
Инфа на русском ru.bmstu.wiki/Apache_Airflow
Доументация MLFlow www.mlflow.org/docs/latest/in...
Группа в ВКонтакте pymagic
Telegram t.me/pymagic
#datascience #mlops #mlflow #airflow

[@user-tm7eu1su1n]

Люблю такие видео длительностью по часу, где все по болтикам разбирается. Но соблазн отложить просмотр таких видео на потом гораздо выше, чем у простых десятиминутных:) Спасибо, было полезно!

[@user-pl5mm8hs9z]

Очень интересно, с нетерпением жду следующее видео про чистый код!

[@nelinvitaliy5932]

Огромное спасибо за ваш труд!! Ваш код лаконичен и гениален!!! )))

[@anggman]

Очень ждём!

[@kirill_shaldybin]

Очень мощно! Большое спасибо!

[@AndersonSilva-dg4mg]

Спасибо Анастасия!

[@smartpax17]

Наконец дорос до пайплайнов)

[@besp7540]

Настя, большое спасибо за видео!

[@TIENTI0000]

спасибо за видео

[@nikolaiandrianov1856]

Спасибо!

[@user-xl1zq2ic5f]

Годнота)

[@lemzarl5181]

Очень познавательно

[@datascience4907]

Полезные инструменты)

[@datasciencesolutions2361]

я сказал это профессиональной. молодец с mlflow и MLOps видео!

[@TIENTI0000]

нравится как произносишь scheduler как шидулер

[@GeigersBazaar]

3 дня как вкатываюсь в тестирование в области Mlops, пока что ничего не понятно но очень интересно)

[@maximzotov1847]

Добрый день. А на Линуксе удобно программировать? Нет ли специального ПО только под винду?

[@kogram]

Интересные видео, спасибо! numpy дважды импортирован, это не влечёт за собой ошибку? только начал питона душить, ещё не пробовал так делать... dry and wet ...

[@sergeyandron2764]

Очень полезное видео. Всё от и до, с живыми примерами и без воды. +1 на карму )) Особенно понравилась организация рабочего пространства и качество-понятность кода. Я лично так не пишу, поэтому тут плюсик. а вот про сами инструменты выглядит просто как дань моде "сейчас все используют и я буду", имхо разумеется. Про mlflow - выглядит как реальное усложнение процесса. ну вот сколько моделей вы обычно тестируете? 1,2,3 максимум. Если больше - возможно вы не знаете, что вам нужно? про параметры - Бог дал вам GridSearch - стабильно, удобно, практично. Зачем еще куча софта и лишнего кода с повышением вероятности косякнуть - не понятно. про airflow - игрушка конечно прикольная и модная, но всё же она больше для дата инженеров, перегонка данных из дохрена источников, отказоустойчивость и прочее. Для дата сатаниста, что бы запускать модельки по расписанию можно заюзать обычный крон, а не мудохаться с установкой самого софта и настройками ДАГов. в общем мой посыл в чем? Видео крутое, но не нужно усложнять там, где не нужно. Лучше сконцентрируйтесь на качестве самих алгоритмов. А то инструменты сейчас знают все, а качественный продукт выпускают единицы. Желаю Вам успехов :)

[@qwerty-wt5dr]

Это обучающее видео, в том и суть чтобы о чем-то рассказать, не? Мне вот интересно про всю эту лабуду было послушать, тем более не от прыщавого индуса на ломаном английском.

[@avatarcybertronics2584]

Я пропиарил ваше видео у себя в телеграм чате)

[@pavelbrudanov6701]

крутое видео о работе дата саинс

[@bekhzodortikov421]

Ваше репо уже недоступно?

[@Paulinio91]

42:40 чтобы не ждать, можно прописать команду airflow db init

[@IgorMokrushin]

Ничего не понятно, но очень интересно :)

[@donfedor007]

Добрый день! Как сделать, что-бы в одном даге таски выполнялись с разными параметрами в зависимости от дня недели. Мы можем передать словарь params={"full": True} (в настройках дага), но чтоб этот параметр например в субботу становился False?

[@donfedor007]

@@miracl6 спасибо, я так и сделал!

[@gordonfreeman6804]

Кстати, как например Neptune в сравнении с Airflow. Работая c Airflow выявил недостатки интерфейса. Например вывод только в txt файлы, что неудобно. А Neptune при простоте установки довольно хорошую визуализацию предоставляет. Правда нет такой репликации процессов, как в Airflow. Хотя может ошибаюсь.

[@dmitrykhomyakov8451]

Добрый день. Правильно ли я понимаю что AirFlow это инструмент для автоматизации запуска задач? Чем он отличается от широко известного Jenkins? Хуже или лучше?

[@user-lt1ul9cn5c]

Анастасия, а куда записываются результаты прогноза модели на проде, это какой-то ексель, csv-файл? В уроке это test.csv в папке data, правильно понимаю?)

[@sgen_yt1439]

Почему трейн каждую минуту а предикт каждые 2? разве так в процессе результат одной из трейн не будет потерено? заранее спасибо

[@user-mh1dz6xv5z]

Спасибо, как то мельком слышал названия этих инструментов, но для чего конкретно они нужны только сейчас узнал)) А что если я хочу на ночь позапускать одну и ту же модельку, но с разными параметрами и на утро получить некий документ с результатами этих параметров? аирфлоу это позволяет сделать? Или скажем сравнить датасет А и Б, обучить сетку по каждому датасету(желательно несколько раз) с одинаковыми параметрами и в конце выдать результаты по лучшей метрике? Было бы удобно если этот инструмент позволял это сделать. Заранее спасибо)) P.S. Конечно же ждем видео по чистоте своего кода, было бы интересно.

[@user-mh1dz6xv5z]

@@miracl6 Понял, принял, спасибо)

[@gordonfreeman6804]

Cubeflow, AWS Sagemaker работают с ноутбуками. Отличный туториал, забыл добавить.

[@gordonfreeman6804]

@@miracl6 кстати сумел сделать cron shedule в виде branching и short circuit внутри дага. Всё работало.

[@ms_Mar]

Хорошо, конечно, но лучше было показать установку на практике

[@nikitaustinov1164]

Где видио по чистому коду?)

[@user-eg1vy8pk1v]

Красотка, подскажи на какую камеру снимаешь видео?)

[@user-eg1vy8pk1v]

@@miracl6 несмотря на это картинка все равно качественная

[@user-eg1vy8pk1v]

@@miracl6 само собой)

[@melnikovjnr]

автор алгебра алгоритм анализ аналитик аналитика анастасия английский база бесплатный! (очень крутое и полезное видео)

[@letsgo9788]

Куку

[@oleksandrasaskia]

можешь выложить этот проект на гитхаб?)

[@user-nw9dx4fj9s]

А я тебя узнал, когда свой канал запустишь?)

[@pavelbrudanov6701]

а проблем с сохранением артефактов не возникало? ))

[@pavelbrudanov6701]

@@miracl6 может это с виндой проблемы? Вроде дописываю и в командной строке при запуске и в artifact_path

[@pavelbrudanov6701]

@@miracl6 Он (mlflow) правда в трассировщик ошибок дописывает какую то несуществующую директорию к той, которую указываю в командной строке

[@pavelbrudanov6701]

@@miracl6 а команды что бы поменять директорию артефактов из jupyter notebok я не нашел )))

[@pavelbrudanov6701]

@@miracl6 ну сет трэкинг у меня локалхост, а венв я не ставил - у меня все в одной куче.

[@pavelbrudanov6701]

@@miracl6 не, все пробовал. Нашел такую же ошибку, но там не предложили решения на сколько я вижу. Попробую сегодня hdfs установить на локальную машину, что бы грузить артефакты туда.

[@petyap7600]

По комментариям в коде не согласен. Их не нужно пихать везде, если очевидно, что он делает. Тем более, правильное именование переменных берет на себя эту функцию.

[@petyap7600]

И непонятно, почему log_metric/metrics не используется. Разве его не было?