Артем Шутак - Вставить в ClickHouse и не умереть

Ближайшая конференция - SmartData 2024, 4 сентября (online), 8-9 сентября, (Москва + трансляция).
Подробности и билеты: jrg.su/KFFBS7
- -
Казалось бы, что может быть проще, чем вставить данные в БД?! Но в Одноклассниках это делают 2 года и ClickHouse не перестает удивлять.
Артём Шутак из Одноклассников. Их инсталляция - это примерно 1PB и 100 машин. И команда реально настрадалась: ClickHouse тормозил, данные дублировались и/или терялись, иногда просто не вставлялись.
В докладе подробно рассматривается задача вставки данных в ClickHouse для всех самых популярных сценариев:
- «игрушечная» инсталляция на одном сервере;
- горизонтально масштабируемый кластер с репликацией данных между дата
- особенности батчевой и стриминговой вставки.
Также напишем свой собственный классный механизм вставки в ClickHouse, который используется в Одноклассниках.
Приходите на доклад, и Артём поделится тем, что знает про вставку в ClickHouse. Доклад нацелен на инженеров и архитекторов, как планирующих интегрировать ClickHouse в свою экосистему, так и тех, кто уже работает с ним, но не полностью доволен текущим положением дел.
Скачать презентацию: assets.ctfassets.net/oxjq45e8...

[@highwayautolife3155]

Интересно!

[@YuriyNasretdinov]

Спасибо за отличную иллюстрацию, чем плохи вставка в Distributed таблицы и ожидание от Kafka Engine, что она магически делает всё хорошо :). (я всегда придерживался идеи, что вставка должна быть только в ReplicatedMergeTree напрямую и ребалансировка тоже должна делаться вручную, например сделать на кластер сразу 60 шардов, что легко делится на 1, 2, 3, ..., 12, 15, 30 и т.д. узлов, и перемещать таблицы тупо репликацией).

[@PeterVolna]

Гениальный доклад, спасибо

[@CvyatG]

Очень интересный доклад

[@airdropking5973]

спасибо за лекцию

[@ilshatkarazbaev6300]

Спасибо за доклад. Конечно, стоило руками ребеленсировать заранее. Если делать ребалансировку из коробки, то это может занять много времени и в сложно обработать каждый частный случай

[@spartan_j117]

9:48 дефолтный энджин на сингл ноде 🤣

[@ivani3237]

ну нафик, уже год на сноуфлейке - забыл как страшный сон все эти непредсказуемые и неописанные поведения, танцы с бубнами над ручным шардированием, танцы с бубнами над вставкой, танцы с бубнами над администрированием...

[@user-qh6im2ik2q]

а сколько данных?