Что такое Apache Spark

В данном видео мы знакомимся с фреймворком для параллельной обработки данных Apache Spark. На конкретном примере разбираем возможности Apache Spark по работе с источниками данных (файлами и RDBMS), трансформации данных (как с помощью Structured API, так на Spark SQL).
Курс проводится только в специализированном учебном центре «Школа Больших Данных»
По вопросам обучения на курсах машинного обучения приглашаем в нашу «Школа Больших Данных»
Обращаться по телефону:
[phone]
[phone]
Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас в социальных сетях:
Телеграм-канал: t.me/BigDataSchool_ru
Facebook: / bigdataschoolru
Вконтакте: bdschool_mck
LinkedIn: / bigdataschoolru
Twitter: / bigdataschoolr
Подписывайтесь и будьте в курсе всех интересных новинок мира Big Data вместе со Школой больших данных - www.bigdataschool.ru

[@2LazySnake]

Это одно из лучших введений в тему, которое я когда-либо видел.

[@BigDataSchool]

Спасибо за комментарий, приходите к нам на курсы или просто подписывайтесь :-)

[@user-th4tb3mf5s]

Супер пример!

[@uhi2106]

пощупать руками это реально бесценно. с примером!

[@user-mx8pn1ky5s]

Жаль в плейлистах нет нумерации уроков. Иногда затруднительно найти первое видео и дальше смотреть по очереди.

[@powerhead]

Круто

[@PizdaRusni2023]

Про спарк ни слова... плохо очень.

[@UraGagarin1961]

Класс

[@user-ko4me4zz6z]

Добрый день! Скажи, пожалуйста, где можно скачать код с исходные данные для изучения в живую? Заранее благодарен!

[@user-kw6sb1rt5b]

Звук ❤

[@igrinito]

Добрый день. очень полезное виедо спасибо. Подскжите пожалуйста, а почему дата сайнтист не может сам преобразовать эти данные как ему надо, через тот же пандас скажем ?

[@michaelkorolev9055]

Пандас - одномашинный вариант обработки, по определению "большие данные" так не обработать. Spark работает на кластере, ему любые данные "по плечу". Понятно, что в видео была "игрушечная" задачка, в жизни задачи куда-как больше и сложнее.

[@ViTa-ol8kt]

иииии... датасеты разные)

[@user-bg2xf2lv7o]

ужасное объяснение

[@eleberet]

че так

[@rattlik1]

Из этого видео я понял, что Apache Spark - это питоновская библиотека, которая дублирует pandas. Спасибо.

[@ChannelCheesecake]

К сожалению есть питоновская, лучше под Spark писать на Scala

[@abdul-aziz6826]

@@ChannelCheesecakeпочему к сожалению ?