ВВЕДЕНИЕ В PYSPARK И SPARKSQL / ОЛЕГ АГАПОВ

[@ManticoreRoko]

Великолепный материал для тех кто только начинает погружаться в PySpark. Благодарности ведущему и основателям канала

[@illiakaltovich]

Отличная вводная лекция по Spark 🙂 Таймкоды: 1:38 - План вебинара 3:05 - Для кого этот вебинар 3:48 - О спикере 5:00 - Начало. Пример задачи, под которую заточен Spark 11:59 - Что такое Spark? 17:36 - Модель распределенных вычислений в Spark 22:40 - Нужен ли Spark’y Hadoop? 22:25 - Практика. Установка Spark локально 27:04 - Установка Pyspark из pip 35:15 - Запуск Spark из Docker 38:26 - Запуск Spark в Google Colab 45:35 - Обзор собранной статистики о слушателях 46:00 - Q&A сессия 51:08 - Про режимы работы Spark 54:02 - Что можно делать в PySpark? 56:24 - Компоненты PySpark приложения 1:05:54 - Подробнее о DataFrame 1:08:41 - Читаем данные в DataFrame 1:15:08 - О трансформации данных 1:17:26 - О записи данных 1:18:54 - SQL в Spark 1:23:26 - Практика. DataFrame API 2:24:39 - DataFrame API: основные методы в использовании 2:25:36 - SQL functions: основные методы в использовании 2:27:40 - Общие принципы Spark приложения 2:34:08 - Q&A сессия

[@annicioua]

Спасибо тебе добрый человек =)

[@olegzaba4756]

вообще классно всё объяснил - 3 часа как одно мгновение ... очень жду продолжение!

[@АлександрДергилёв-п8х]

Сильный спикер, спасибо!

[@Юрий-б2ф4з]

Лучшая вводная лекция, которую я видел. Но, ребята, что за звук? 2021й год и треск микрофона?! Вы серьезно?)

[@254598]

Ребята вы лучшие! Купила курс на gb, в итоге модуль про спарк изучаю по вашему видео)

[@sergeystrikanov2302]

Большое спасибо! Очень круто для понимания и знакомства с PySpark.

[@АндрейКадетов-н3р]

Прекрасная лекция, спасибо огромное!

[@datalearn4398]

Переношу все видео в Rutube, тоже канал Data Learn.

[@ДмитрийВолишевский]

Кайфовый вэбик. Вы как всегда на уровне бог. Спасибо Олегу!

[@lex83641]

Отличный доклад! Гораздо лучше всяких индусов

[@bbbkkk930]

хороший эфир ... авторам спасибо

[@anastasiyaivanova6992]

Спасибо, очень полезная информация для ознакомления с PySpark. Как раз то что было нужно.

[@НикитаКульков-м5ф]

Спасибо, долго искал что-то подобное на ру-ресусрах)

[@vandriichuk]

Спасибо. Для меня очень полезный материал. Особенно ценно, что на русском.

[@gpankov]

лучшее объяснение!

[@lerosh7894]

вебинар огонь

[@denisbaranoff]

Прекрасно, это прям ну очень просится па мастеркласс по пайспар в какой- нибудб юдеми👍👍👍

[@Vanzer77]

Отличное видео для начала работы с PySpark! Есть вопрос по части, где нужно посчитать статистики по полю manufacturer_name. Из моего опыта с СУБД и Pandas, очень плохой тон делать группировки по текстовым полям - они работают значительно медленнее чем по целочисленным полям / датам. Понимаю, что в видео поле manufacturer_name было выбрано для примера, но как в целом у спарка обстоят дела с группировкой по тестовым колонкам?

[@igorbulenko6335]

Спасибо, очень круто, хотелось бы продолжения ))

[@petrodyak]

Thanks for the introduction to the PySpark! It was very useful.

[@aliaksandrsiamenau9922]

Замечательный стрим, спасибо

[@faizalimuhammadzoda4731]

Спасибо за хороший контент.

[@itrunner]

Очень крутой доклад!

[@nikitakrutikov9697]

Респектище, помогло очень

[@maksimkuznetsov2132]

Спасибо большое! По ETL вообще мало чего есть в русскоязычном сегменте ютуба. На мой взгляд лучший способ передачи опыта - видео. Питон немного изучал. Сейчас я PL/SQL разработчик, но думаю смещаться в ETL. Дико привык к SQL. И все эти методы кажатся извращением. Вообще БД-шные спецы плюются на спарк и ORM

[@529aff]

в spark можно писать и на sql

[@salivona]

Очень здорово, спасибо!

[@qweras79]

Привет. Спасибо большое за видео. Можно вопрос, будь ласка? я попробовала работать в сессии Спарка прямо из Визуал Студио Код - єто очень неудобно по ряду причин. Установила взяла отдельно Юпитер. но сессия Спарка в Юпитера не запускается. Єто невозможно или я что-то делаю не так?

[@Asylum_M]

Спасибо, а когда продолжение? На ютубе одни вводные лекции для pyspark, а хотелось бы более глубокого погружения.

[@maksimkuznetsov2132]

Привет. Кстати, как успехи с пайспарком? Вообще мне показалось, что всего, что тут есть хватит для старта карьеры в этом стэке. Сейчас пытаюсь стартовать в этом имея за плечами большой опыт на SQL и материал этого видео. ))

[@Александр-ъ3о1щ]

+

[@ДмитрийАверьянов-щ4г]

Шикарно

[@dmitryanoshin8004]

Очень круто! Добавим к модулю 7 DE-101!

[@anton108]

ты забыл вставить ссылку в GIT

[@maksimsvirskiy6828]

Огромное спасибо - было очень понятно! а где посмотреть презентацию и ссылки все на гит и т.д.?!

[@Frezer911]

В чатике трансляции

[@maksimkuznetsov2132]

Интересно было бы ещё узнать, где чаще всего бывают затыки по производительнсти.

[@annicioua]

Как жаль, что ведущий вебинара не рассказал, что просто так ты не заинсталлишь Spark через pip install , если не создашь специальные системные переменные среды, а у лектора всё уже готовенько, а у него pyspark к моменту записи вебинара уже давно установлен был..

[@volodink]

А ссылку на гитхаб в коменты скиньте пожалуйста😅

[@Egor-sm4bl]

Хм, а у меня сразу сохранило в одном файле json.... Что-то не так сделал?

[@antonboiko788]

Драйвер не распределяет данные между экзекьюторами, это делает Cluster manager

[@imoldpirate]

норм

[@cozyfootball]

Очень много водяных рассуждений ни о чем. Очень много бэ, мэ, эээ. "Я рассказываю так быстро" - ты серьзно?

[@529aff]

запишешь лучше?