2 жыл бұрын
2 жыл бұрын
3 жыл бұрын
3 жыл бұрын
Пікірлер
@baga_trade 13 күн бұрын
Анастасия большая молодец!!!
@TA-sz1ye 17 күн бұрын
Поддержу коллег. Алексея знаю лично, замечательный человек, великолепный эксперт. Вот истинный пример "импортозамещения", ещё с тех времен, когда это не было ни модой, ни насущной потребностью.
@Vacagen 20 күн бұрын
Автор объясняет тему очень понятно и доходчиво, как раз были проблемы с пониманием того в какой последовательности работают команды ;_)
@prokaznikenjello 21 күн бұрын
очень ламповый и комфортный ролик, спасибо
@АлександрФомин-п1е1р 22 күн бұрын
Дмитрий, спасибо за вводное слово, сегодня 07.11.2024, начинаю свой путь. Удачи всем на пути, кто это читает!
@ПутьМолодого 16 күн бұрын
13.11.24 погнали🎉
@sasik1472 25 күн бұрын
Как же ты хорош
@blackbro735 26 күн бұрын
Повеселило) а с какой стороны для Grenplum'a аналог это Clickhouse?
@blackbro735 26 күн бұрын
Redash да, но больше сейчас появляется Datalens, FineBI, LuxmsBI, Visiology. В некоторых крупных компаниях используется свой BI (например, на основе Dash), который активно и очень быстро развивается
@ЛидияДевицына-и3ь Ай бұрын
Привет! А можно пояснение: в чем разница между подпроцессами slowly changing dimension и late arriving data handler? Они весь оба про изменения в таблицах измерений.
@samorodko Ай бұрын
Аналитик с доступностью 24/7 это жесть конечно
@ILawrance Ай бұрын
Почему бесплатно?
@gpankov Ай бұрын
Подскажите, как устроится на нормальную работу +300? Я сейчас работаю в магните делаю отчёты на sql пишу давольно сложные запросы, питон тоже знаю, даже js... но нифига нет такой зп у меня
@Александр-х7о8й Ай бұрын
1.Почитать пару статей про greenplum и в принципе про MPP системы 2. Почитать про архитектуру баз данных 3. Почитать про физическую работу джойнов, партиций, индексов 4. Обзорно почитать про airflow 5. Win!
@gpankov Ай бұрын
@ это я все знаю, дальше с этими знаниями что делать?
@Александр-х7о8й Ай бұрын
@@gpankov , идти на собес за 300к
@gpankov Ай бұрын
@ окей, отправил запрос)
@blackbro735 26 күн бұрын
Магнит полная шняга, походу, как была, так и осталась) недавно ради интереса сходил на собес, на первой встрече 3 или 4 лица, типа испытывающие тебя (начальник, аналитик из параллельного направления, эйчар, еще кто-то), один из которых мой когда-то коллега в том же магните...N лет назад. Я ожидал большего и лучшего))
@fotopetroler Ай бұрын
Вы сказали, что в РФ стек технологий маленький, а за "бугром", он прям вах большой... а так ли, давайте порассуждаем.. Облака за бугром: AWS, Google, Azure.. 90% "облачных" проектов в этих трех облаках.. Databricks, Snowflake - там все равно под капотом много чего из большой тройки переиспользуется.. Облака в РФ: Яндекс, ВК, Сбер, ну и поменьше, такие MTS, Selectel и т.д. Вау ли разница??? да нет, не вау. Зрелось облаков разная - тут не спорю. Оркестраторы типа Airflow что у нас что у них, дефакто "промышленный стандарт".. Dagster, Airbyte есть, и тут и там.. там просто сам по себе рынок больше. S3 - Про облака выше написал, везде есть Object Storage свой и в ЯО, Сбер, ВК, MTS, Selectel и т.д., хочешь on-premise - Minio, ceph, (есть и другие конечно, но популярность явно у этих больше) но тут кажется, что Minio выигрывает, и новые проекты скорее всего в большинстве случаев буду рассматривать Minio, не думаю, что "там" какой-то другой подход и в %% отношении скорее всего minio выигрывает.. И так по каждому пункту если пройтись, то особо "вау" нет.. Spark и тут и там, PostgreSQL, Greenplum (Redshift) и тут и там MongoDB и тут и там, python и тут и там Nifi, Flink, Kafka, RabbitMQ, Prometheus, Grafana, Influx, TimesalceDB, Hadoop, HDFS, Trino, Presto, Loki, k8s, docker, podman, Gitlab-CI, Jenkins и т.д. все это есть и тут и там, и не думаю что прям "вау" разница. Существенная разница только в зрелости облаков, AWS лет на 10 стартовал раньше чем тот же ЯО...
@fotopetroler Ай бұрын
Вы сказали, что в РФ стек технологий маленький, а за "бугром", он прям вах большой... а так ли, давайте порассуждаем.. Облака за бугром: AWS, Google, Azure.. 90% "облачных" проектов в этих трех облаках.. Databricks, Snowflake - там все равно под капотом много чего из большой тройки переиспользуется.. Облака в РФ: Яндекс, ВК, Сбер, ну и поменьше, такие MTS, Selectel и т.д. Вау ли разница??? да нет, не вау. Зрелось облаков разная - тут не спорю. Оркестраторы типа Airflow что у нас что у них, дефакто "промышленный стандарт".. Dagster, Airbyte есть, и тут и там.. там просто сам по себе рынок больше. S3 - Про облака выше написал, везде есть Object Storage свой и в ЯО, Сбер, ВК, MTS, Selectel и т.д., хочешь on-premise - Minio, ceph, (есть и другие конечно, но популярность явно у этих больше) но тут кажется, что Minio выигрывает, и новые проекты скорее всего в большинстве случаев буду рассматривать Minio, не думаю, что "там" какой-то другой подход и в %% отношении скорее всего minio выигрывает.. И так по каждому пункту если пройтись, то особо "вау" нет.. Spark и тут и там, PostgreSQL, Greenplum (Redshift) и тут и там MongoDB и тут и там, python и тут и там Nifi, Flink, Kafka, RabbitMQ, Prometheus, Grafana, Influx, TimesalceDB, Hadoop, HDFS, Trino, Presto, Loki, k8s, docker, podman, Gitlab-CI, Jenkins и т.д. все это есть и тут и там, и не думаю что прям "вау" разница. Существенная разница только в зрелости облаков, AWS лет на 10 стартовал раньше чем тот же ЯО...
@ДанилаДубровский-ф5т Ай бұрын
Огнище
@baga_trade Ай бұрын
Запиши пожалуйста прохождение интервью в одной из компании которая платит 300-500. Интересно было бы посмотреть
@datalearn4398 Ай бұрын
у меня такие есть на английском в Surfalytics TV
@_pengo_ Ай бұрын
Почему такой тихий звук? Неужели нельзя писать звук в нормальный микрофон, а на на наушники?
@makmakmakk Ай бұрын
Если это компания из РФ, и там удаленка, это значит что сотрудник может работать только из РФ в 99% случаях, особенно если там написано Финтех.
@ViktorAr2023 Ай бұрын
конечно, ведь большинство вы работаете с персональными данными. Но ни кто не запрещает работать на заграницную фирму из РФ. )))
@Daiwin74 Ай бұрын
@@ViktorAr2023заграничные фирмы запрещают работать из РФ и РБ 😮
@baga_trade Ай бұрын
Супер видео!!
@baga_trade Ай бұрын
Кто из Питера ?)
@Mary-nw3hl Ай бұрын
А шо?)
@ViktorAr2023 Ай бұрын
На счет собесов в Автомакон с вас спросят там все, будет и кодить и чертить если надо!
@ViktorAr2023 Ай бұрын
на счет автомакон они обучают типа с нуля стипуха 25к. Но отбор ввиде проверки логики на скорость .... но лучше чем астон идти
@ViktorAr2023 Ай бұрын
Ни в коем случае не рассматриваете Системных аналитиков, так как на вас повешают Бизнес аналитику и архитектуру а платить буду жмотить! Это для тех, кто подумает идти на аналитика)
@howto538 Ай бұрын
Класс) было бы интересно посмотреть еще обзор вакансии в Европе, Канаде и в Штатах.
@datalearn4398 Ай бұрын
Такое есть на SurfalyticsTV
@peekknuf Ай бұрын
kzbin.info/aero/PLNCDg7zJiXhN5tGkU2T4TEXfAWvrfW6BL
@ViktorAr2023 Ай бұрын
и в Китае. (у меня знакомый устроился Аналитиком туда, требования Китайскии разговорный что легко освоить и Английский письменный)
@1711jk Ай бұрын
2024 год, акции Snowflake упали в 4 раза, доход в многомиллионном минусе
@МихаилВасичев-з5я Ай бұрын
25:55 так вы же одно и то же сказали
@jonydavis4298 Ай бұрын
Я давно в дата инженериге, успел поработать с дедуктором и тогда это было круто, так и не удалось до сих пор попробовать лоджином. Но я много других систем изучил и мне при этом интересно лоджином попробовать. Потому что я виду в нем хороший потенциал. Жаль что времени на это может не найтись, хотелось бы что бы оно было в работе. А внедрить в работу, доказать что это круто, это ещё одна большая работа. Жаль что не смогу посетить сборище 24 октября потому что я не в Москве и не спланировал заранее. Продукту желаю всех благ, и достойных ему вершин. Надеюсь я найду время погрузиться в то до чего вы доросли
@MyGoodaNews Ай бұрын
Самый первый!
@AlekseiGrebenkin Ай бұрын
Интересный стрим
@ПавелК-123 Ай бұрын
Дмитрий, огромное спасибо за курс!
@datalearn4398 Ай бұрын
Переношу все видео в Rutube, тоже канал Data Learn.
@Marina1BEL 2 ай бұрын
Спасибо большое
@datalearn4398 Ай бұрын
Переношу все видео в Rutube, тоже канал Data Learn.
@Marina1BEL 2 ай бұрын
Спасибо большое
@RusPeople21 2 ай бұрын
Очень интересна ситуация из вебинара про замену товара: Пробили один товар, оказался другой по факту. Меняется ссылка в линке: старая связь закрывается, открывается новая. Тут понятно. Но как сложить, например, причину закрытия прошлой связи? Например варианты: возврат/ошибочное внесение/брак. Опять на ум приходит только сателит к линку. Или и под это городить хаб + описывающий сателит? Но если мы хотим уйти и от линков, связывающих 3 хаба, то тут выходит 3 хаба и 3 линка? Выглядит устрашающе. Может есть у кого-то ответ на такой случай?
@datalearn4398 Ай бұрын
Переношу все видео в Rutube, тоже канал Data Learn.
@doniyordjon_pro 2 ай бұрын
With ties v postgres есть аналог?
@Александр-ъ3о1щ 2 ай бұрын
Будет ли семинар??
@datalearn4398 Ай бұрын
Переношу все видео в Rutube, тоже канал Data Learn.
@Александр-ъ3о1щ Ай бұрын
@@datalearn4398 хорошо, но хотелось бы семинар
@gentelman4657 Ай бұрын
@@datalearn4398 сами там сидите )
@VladimirNovitsky-c8f 2 ай бұрын
Очень доступно и понятно объясняется материал, плюс грамотно поставлена речь у спикера. Спасибо!
@datalearn4398 Ай бұрын
Переношу все видео в Rutube, тоже канал Data Learn.
@No_name-lq2ww 3 ай бұрын
Спасибо огромное, очень интересно и качественно объясняете! А где вы сами всему научились? Документация или м.б. какой-то учебник/практический курс посоветуете для углубления? Можно вас найти в LinkedIn ?
@datalearn4398 Ай бұрын
Переношу все видео в Rutube, тоже канал Data Learn. В Linkedin Dmitry Anoshin
@АндрейКадетов-н3р 3 ай бұрын
Прекрасная лекция, спасибо огромное!
@datalearn4398 Ай бұрын
Переношу все видео в Rutube, тоже канал Data Learn.
@da-artstudio 3 ай бұрын
Мучалась, мучалась... но подкл. таблицы к GOOGLE DATA так и не получилось, выдаёт ошибку. В телеграмме писали что вроде как версия Postgres должна быть до 14. Но тогда надо и переустанавливать сам постгрес и в AWC заново подключать.... вообщем сложно когда нет обновления уроков. В любом случае спасибо за курс.
@datalearn4398 Ай бұрын
Переношу все видео в Rutube, тоже канал Data Learn.
@yabidubidu666 3 ай бұрын
00:00 - 00:00:40 - вступление 00:00:40 - 00:01:40 - вступление от Дмитрия Браженко 00:01:40 - 00:02:35 - краткое описание лекции 00:02:35 - 00:04:40 - для чего Airflow 00:04:41 - 00:05:35 - преимущества Airflow перед Cron 00:05:35 - 00:06:48 - настройка Airflow 00:06:48 - 00:09:24 - сущности Airflow (графы(ДАГи)) 00:09:24 - 00:10:30 - альтернативы Airflow 00:10:30 - 00:11:44 - преимущества Airflow 00:11:44 - 00:13:20 - из чего состоит Airflow (графы(ДАГи), операторы, параметры ДАГа, тэги 00:13:21 - 00:14:45 - недостатки Airflow 00:14:45 - 00:16:39 - устройство Airflow (веб-приложение, планировщик, воркер, БД) 00:16:39 - 00:17:36 - из чего состоит граф (ДАГ) 00:17:36 - 00:17:55 - Практика. Сбор первого простого ДАГа: 00:17:55 - 00:21:13 - Практика. Сбор ДАГа из одного Bash-оператора. Обзор среды PyCharm Дмитрия Браженко 00:21:13 - 00:21:40 - Практика. Сбор ДАГа из одного Bash-оператора. Задумка создаваемого ДАГа 00:21:40 - 00:22:00 - Практика. Сбор ДАГа из одного Bash-оператора. Как работать с Python-файлом ДАГа 00:22:00 - 00:23:32 - Практика. Сбор ДАГа из одного Bash-оператора. Создание ДАГа в Python-файле 00:23:32 - 00:24:48 - Практика. Сбор ДАГа из одного Bash-оператора. Создание оператора в Python-файле 00:24:48 - 00:25:04 - Практика. Сбор ДАГа из одного Bash-оператора. Задание последовательности выполнения ДАГа 00:25:04 - 00:26:35 - Практика. Сбор ДАГа из одного Bash-оператора. Смотрим на результат в Airflow 00:26:35 - 00:26:50 - Практика. Сбор ДАГа из одного Bash-оператора. Смотрим на результат в Airflow. Графовые представления ДАГа 00:26:50 - 00:27:25 - Практика. Сбор ДАГа из одного Bash-оператора. Смотрим на результат в Airflow. Смотрим на логи ДАГа. 00:27:25 - 00:27:40 - Практика. Сбор ДАГа из двух Bash-операторов. 00:27:40 - 00:27:54 - Практика. Сбор ДАГа из двух Bash-операторов. Задумка создаваемого ДАГа 00:27:54 - 00:28:17 - Практика. Сбор ДАГа из двух Bash-операторов. Создание оператора в Python-файле 00:28:17 - 00:28:41 - Практика. Сбор ДАГа из двух Bash-операторов. Задание последовательности выполнения ДАГа 00:28:41 - 00:30:03 - Практика. Сбор ДАГа из двух Bash-операторов. Смотрим на результат в Airflow 00:30:03 - 00:30:21 - Практика. Сбор сложного ДАГа (Bac. Введение 00:30:21 - 00:30:48 - Практика. Сбор сложного ДАГа (Bash). Создание операторов в Python-файле 00:30:48 - 00:34:05 - Пояснение про BashOperator (bash_command 00:34:05 - 00:34:57 - Практика. Сбор сложного ДАГа (Bash). Задание последовательности выполнения ДАГа 00:34:57 - 00:35:44 - Практика. Сбор сложного ДАГа (Bash). Ориентирование в уведомлениях Airflow об ошибках в задании последовательности 00:35:44 - 00:36:45 - Практика. Сбор сложного ДАГа (Bash). Смотрим на результат в Airflow 00:36:45 - 00:37:33 - Практика. Сбор сложного ДАГа (Bash). Итоги 00:37:33 - 00:38:25 - Практика. Сбор ДАГа из Python-операторов. Вступление 00:38:25 - 00:38:50 - Практика. Сбор ДАГа из Python-операторов. Задумка создаваемого ДАГа 00:38:50 - 00:39:29 - Практика. Сбор ДАГа из Python-операторов. Создание ДАГа 00:39:29 - 00:42:45 - Практика. Сбор ДАГа из Python-операторов. Описание прототипа Python-операции в Jupiter 00:42:45 - 00:43:42 - Практика. Сбор ДАГа из Python-операторов. Создание 1го оператора00: 00:43:42 - 00:45:16 - Пояснение про привязку оператора к ДАГу 00:45:16 - 00:45:48 - Практика. Сбор ДАГа из Python-операторов. Создание 1й Python-функции для 1го оператора. 00:45:48 - 00:46:16 - Практика. Сбор ДАГа из Python-операторов. Пояснение об особенности кода для Airflow. 00:46:16 - 00:47:07 - Практика. Сбор ДАГа из Python-операторов. Создание 2го оператора и 2й Python-функции 00:47:07 - 00:48:20 - Практика. Сбор ДАГа из Python-операторов. Особенности запуска кода (временная директория/корневая директория) 00:48:20 - 00:48:53 - Пояснение про особенности хранения получаемых с помощью ДАГов данных 00:48:53 - 00:49:07 - Практика. Сбор ДАГа из Python-операторов. Задание последовательности выполнения ДАГа 00:49:07 - 00:49:51 - Практика. Сбор ДАГа из Python-операторов. Смотрим на результат в Airflow 00:49:51 - 00:51:55 - Практика. Сбор ДАГа из Python-операторов. Проверка результата 00:51:55 - 00:53:55 - Пояснение про принцип создания кода для Airflow с любыми видами операторов 00:53:55 - 00:56:17 - Пояснение про мониторинг хода выполнения операций Airflow (логгирование) 00:56:17 -00:59:25 - Пояснение про имя ДАГа как имя переменной 00:59:25 - 01:01:38 - Параметры ДАГа 01:01:38 - 01:03:06 - Практика. Добавление параметров ДАГа 01:03:06 - 01:03:43 - Практика. Добавление параметров ДАГа. Проверка результата ч.1 01:03:43 - 01:04:04 - Пояснение про логгирование последовательности выполнения одного ДАГа за другим 01:04:04 - 01:07:23 - Пояснение про автоматическое проставление последовательностей выполнения операторов 01:07:23 - 01:08:07 - Практика. Добавление параметров ДАГа. Проверка результата ч.2 01:08:07 - 01:08:48 - Переменные Airflow (хранение паролей, токенов, хостой и прочей информации в переменной) 01:08:07 - 01:11:12 - Практика. Создание переменной в настройках Airflow 01:11:12 - 01:11:34 - Практика. Создание переменной в настройках Airflow. Проверка результата ч. 1 01:11:34 - 01:12:11 - Пояснение про невозможность проставлять зависимости между операторами в веб-интерфейсе Airflow 01:12:11 - 01:14:26 - Практика. Создание переменной в настройках Airflow. Проверка результата ч. 2 01:14:26 - 01:25:18 - Разбор операций с DockerOperator 01:25:18 - 01:29:11 - Пояснение про триггер запускающий ДАГ 01:29:11 - 01:30:15 - Пояснение про ручной запуск ДАГа 01:30:15 - 01:32:44 - нетворкинг 01:32:44 - 01:32:44 - Пояснение про создание последовательностей в сложных ДАГах 01:33:34 - 01:35:24 - Не рекламная интеграция альтернативы Airflow 01:35:50 - 01:38:11 - Пояснение про автоматический запуск ДАГов из других сетей/серверов 01:38:11 - 01:41:31 - ликбез и ресурсы железа, необходимые для работы Airflow 01:41:31 - 01:41:31 - Пояснение про простоту перехода с 1й версии Airflow на 2ю 01:41:31 - 01:43:12 - нетворкинг 01:43:12 - 01:43:40 - заключение
@MaxZdor 3 ай бұрын
Огонь
@vasi1y717 3 ай бұрын
Ихний ихний ихний ихний!
@bronislavkonnikov 4 ай бұрын
Спасибо за интересную лекцию. Вы немогли бы уточнить(было неразборчиво, я не раслышал) На что вы перешли вместо pinecone? Спасибо.
@gordeyvasilev 4 ай бұрын
LangChain: * max_new_tokens * max_iterations But it is better to develop agents in: * Autogen; * LangGraph.
@mlbb-maniac 4 ай бұрын
Позабавили вопросы , которые относятся не к airflow, а к самому пайтону, я как разработчик на пайтоне перешедший в девопс очень умиляюсь вопросам по пространству имён
@mlbb-maniac 4 ай бұрын
Блин видео круто. Боже кто-то задал вопрос что такое баш команда, человек даже не открывал терминал и уже в девопсы хочет 😮
@Владислава-ы9я 4 ай бұрын
Отличное видео, очень доходчиво подан материал, спасибо! ❤
@claudian6257 4 ай бұрын
вы говорите повторить все эти коды, но где достать файл для импорта и ваш файл с кодами? тут толком ничего не видно. на гитхабе только план
@handle6186 4 ай бұрын
этому будущему лет двадцать, наверное. В 2010ом работал с большим энтерпрайз решением, где эти активити схемы генерились в рантайме для построения отчетов
@АнО-ц7о 4 ай бұрын
ура, я дошёл до конца 1 части курса) спасибо тебе большое, Анатолий! надеюсь, что ты сейчас в безопасности и в здравии