ETL на airflow - Курсы "Школы Больших Данных" г. Москва

[@alexnevidimkins4730]

Очень полезное, спасибо. Особенно когда начинаешь только разбирать airflow. Разбор на примере отличный метод

[@КонстантинКолоколов-ъ8г]

Интересный момент, когда мы пушим данные по ключу в xcom, то получить мы их можем в другой таске по индексу [0]. Когда же в функции мы используем return json_data, которая также пушить в xcom, то в указании индекса нет нужды.По ключу данные попадают в xcom в виде списка[ ], внутри которого кортеж( ) и распаковываются в следующем таске по индексу, а во втором случае сразу в виде кортежа. В аргументах оператора также нужно указать provide_context=True.

[@ДмитрийКоролев-ч8ь]

Большое спасибо! А у вас есть уроки, где аписано взаимодействие Spark и Airflow?

[@ШколауправленияипродажКоммерса]

Здравствуйте, Благодарим за комментарий. Такого видео нет, есть тема для дальнейшей работы. Предложим преподавателям записать видео на эту тему.

[@ДмитрийКоролев-ч8ь]

@@ШколауправленияипродажКоммерса Лучшие!

[@dmitrylemeshenko9642]

Спасибо

[@basil0607]

5:34 Вот интересно, вы получите ответ от API на 10 Гб, вы его тоже станете пихать в метаданные? Или всё-таки сложите данные в файл на файловую систему или даже в базу озера данных в том же таске, в котором получили?

[@dblmok_]

Как правило по сети не ходят 10 гб… если это почему то так, то это архитектурная ошибка. Отвечая на ваш вопрос: большие объемы данных ходят через бд

[@letronas]

вообще в принципе не рекомендуется использовать XCOM просто потому что он ограничен и мы занимаем боевую базу airflow. Обмены, действительно, стоит делать через что-то стороннее. В книге видел примеры и через файлы и через базы данных.

[@yaroslavsolntsev9909]

Разумеется нужно контролировать что лезет из API. При таких объемах риск обырвалга порядком выше. А в купе с рекомендацией ложить промежуточные данные во внешнюю стабильную среду есть более правильно, ибо упасть может все, а промежуточные данные всегда под рукой в папочке или бэкапятся еще куда-нить в облачко.)

[@namefamily3279]

Спасибо!

[@hhdushaa]

{ "data": { "error": [ {"msg": "API key has been disabled." } ] }} Первый таск не выполнился хотя и пометился Success, и лучше бы response 200 обернуть эксепшаном) спасибо за то, что дали почувствовать себя занудой ))) В целом ломается понятно!

[@dblmok_]

Вам нужен корректный токен

[@romankonovalov2588]

Топ

[@PizdaRusni2023]

ti - кто он? что? Какой тип? Что вообще приходит в кваргс? разве так сложно все разложить по полочкам. А то получається "возьмем что то не знаю что и выполним команду для чего то..." Напишите док стринги со всем что прилетает или с основными параметрами.

[@PizdaRusni2023]

ti: airflow.models.taskinstance.TaskInstance

[@dblmok_]

Добрый день! Спасибо за рекомендации. Действительно, не к каждой переменной в видео указан ее тип. Формат видео не позволяет настолько подробно углубляться в содержание.

[@iexploiter]

По-русски научитесь говорить. Ужос какой-то, а не речь. Апи, шедУлер, пушить, май - ну хоть бы тогда по-английски правильно говорил.

[@CrazyHandMaker]

ужОс!

[@Frezer911]

Самое нормальное обьяснение эйрфлоу на русском языке. Скиньте ссылки, если найдете лучше.

[@ИльяШапорто]

а как по вашему он должен говорить? вы видать не it или как? на будущие, так и выражаются разработчики. Никто не будет вам произносить как читается по английски, зачем? Странный коммент.. Airflow относится к devops инструментам, там никто не будет ввам с англйским акцентам произносить, вы индусов не смотрели или как?

[@yaroslavsolntsev9909]

Сходите в индийский MS саппорт, там вам будет где позабавиться насчет акцента и прочих забавностей. )

[@iexploiter]

@@yaroslavsolntsev9909 там люди говорят не на родном своем языке. А этот мальчик по документации оснащен русским языком с рождения

[@NurgisaBazarbaev]

Broken DAG: [/usr/local/airflow/dags/weather_api.py] 'Variable KEY_API_WWO does not exist' из за чего может быть эта ошибка в локалке

[@КонстантинПечко-ы9м]

в конце видео объясняют как задать эту переменную