Эффективное использование ClickHouse / Алексей Миловидов (Яндекс)

Приглашаем на конференцию Saint HighLoad++ 2024, которая пройдет 24 и 25 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: vk.cc/cuyIqx
--------
--------
HighLoad++ 2017
Тезисы:
www.highload.ru/2017/abstracts...
ClickHouse чуть более года доступен в open-source. За это время накоплен опыт его использования в российских и зарубежных компаниях. В некоторых из них объёмы данных и нагрузки превышают те, с которыми мы имеем дело в Яндексе. Так как ClickHouse является специализированной системой, при его использовании важно учитывать особенности его архитектуры. В своём докладе я расскажу о примерах типичных ошибок при использовании ClickHouse, которые могут привести к неэффективной работе. На примерах из практики будет показано, как выбор той или иной схемы обработки данных может изменить производительность на порядки.
Нашли ошибку в видео? Пишите нам на [e-mail]

[@viktorbelousov640]

Топовый докладчик, отличный доклад! Хорошо, когда с юмором :) Спасибо!

[@borislapikov3070]

чем он знаменит, этот топовый?

[@avishnevski1980]

@@borislapikov3070 да так, всего лишь написал clickhouse

[@borislapikov3070]

@@avishnevski1980 топовый, предполагает сравнение с чем-то, наверху чего находятся "топы". Ему в какой-то мере подфартило, попал в нужное место, Яндекс, .... согласись, человек, который работает в НИИ или в каком другом месте просто физически лишен возможности заниматься подобными проблемами.

[@avishnevski1980]

@@borislapikov3070 компаний которые делают свои БД в мире десятки, а есть еще те которые кастомизируют существующие и среди этих разработчиков человек практически в одиночку запиливший БД которая уделывает многих конкурентов безспорно стоит в первых рядах. И при чем тут НИИ? там БД не разрабатывают, это коммерческие продукты

[@borislapikov3070]

@@avishnevski1980 беССпорно НИИ тут "при чём", потому чт ов них может работать гений. который товарища ТОПа оставит далеко позади .. впрочем, как измерить эту удаленность? Как и ТОПовость? Кстати, а почему компании делают свои БД? Чем их не устраивают существующие? Это подсказка. Так вот. а не этим ли занимался Миловидов? Не он ли "кастомизировал" некую БД под нужды Яндекса? Это тоже повод подумать. особенно при недостатке информации о сути "открытия". И еще, по поводу "в одиночку", полагаешь Линус разаработал Линукс в одиночку? Не, я не про версию 0.9, а где-то с 2.0.х

[@saimonshaplygin7867]

26:41 - Почему вы так делаете? - Мы не любим преждевременную оптимизацию - А я не люблю преждевременную пессимизацию :D

[@ivanaaa6049]

"Это недокументированная возможность" :)

[@devopsbrain]

Классный доклад

[@user-fz3ve8mo2f]

Алексей надо бы форум создать хотя бы ветку на SQL.RU. Чатик это уже несерьезно для Clickhouse. Куча вопросов без ответов все в вперемежку.

[@ArtemAleksashkin]

27:17 просто засуньте их куда-нибудь...

[@EdwVee]

Что-нибудь изменилось насчёт решения необходимости батчить с момента доклада?

[@user-bn2bm2ny1n]

Как так с кликхаусом дела?

[@fellainthewagon7166]

ржачный тип

[@keman_xian]

Что значит Alter бесплатен? 0:16:25

[@devopsbrain]

Это значит что операция не несет накладных расходов по процессору, диску, памяти и тд

[@kozlovskyi]

:D

[@pavelxbushmakin7252]

ClickHouse тормозит!