K.I.S.S. Pandas больше не нужен? Продвинутые возможности Clickhouse

На занятии вы:
- Узнаете о крутых и, главное, полезных функциях Clickhouse;
- Сравните устоявшиеся решения в области обработки данных с реализациями в рассматриваемой БД;
- Получите практические знания, материалы и инструкции для дальнейшего изучения и углубления в тему.
Этот урок подходит:
- Инженерам, аналитикам данных, DevOps-специалистам и всем неравнодушным к сфере Big Data;
- Тимлидам, которые ищут ищущим достойные решения для внедрения в собственных командах;
- Тем, кто знаком с Clickhouse и хочет получить полезные практические знания.
«ClickHouse для инженеров и архитекторов БД» - otus.pw/ZATY/
Преподаватель: Алексей Железной - Data Engineer
Подключайтесь к обсуждению в чате - otus.pw/tHVM/
Пройдите опрос по итогам мероприятия - otus.pw/W545/
Следите за новостями проекта:
- Telegram: t.me/Otusjava
- ВКонтакте: otus.pw/850t
- LinkedIn: otus.pw/yQwQ/
- Хабр: otus.pw/S0nM/

[@mgarkunov]

Pandas - нужный и полезный инструмент и ClickHouse его не заменит. Да, у Pandas есть проблемы с большими датасетами, так как он старается загружать все в память, но в целом уже есть решение похожее на Pandas. При работе с базой данных мы решаем эту проблеме. А реальная проблема в данном открытом уроке не в Pandas и/или ClickHouse, а в методологии построения аналитической платформы. В подавляющем большинстве между базой данных и Pandas есть большое растояние, поэтому загрузка данных на ПК аналитика требудет больших временных ресурсов. И особенно если работа идет по WiFi. Если же Jupyter / Python будут работать рядом с СУБД на другом сервере, то в этом случае проблем с переброской данных не будет. Тот же Airflow обычно крутится на сервере рядом с СУБД и между этими серверами чаще всего канал 1 ГБит/с и выше. Итого: Нужно не таскать данные по сетям, а переместить процесс работы с ними ближе к данным.

[@polosatymg]

Начало 13:22