А как шардировать??? Часть 1 | Вопросы собеседований | Backend Developer Interview #2

"А как шардировать??" | Вопросы собеседований | Backend Developer Interview #2
ССЫЛКА НА КУРС:
it-es-course.getcourse.ru/main По промокоду ESCOURSE дополнительная скидка 10% до 11 сентября!
Автор курса: Андрей Суховицкий
Действующий разработчик ПО, работает над проектированием и разработкой высоконагруженных систем.
Последние 4 года создаю и провожу авторские курсы по микросервисной архитектуре, проектированию производительных систем и проектированию ПО в университете ИТМО и МФТИ.
В 2021 году получил награду как лучший преподаватель ИТМО.
00:51 Что такое шардирование, зачем его использовать, отличие от репликации
2:21 Шардирование взятием по модулю количества шардов
6:35 Добавление узла в систему шардированную взятием по модулю
8:49 Партиции в Kafka
15:52 Шардирование по последним битам ключа
21:04 Какие свойства мы вообще хотим от шардирования
22:29 Шардирование битовым бором
29:32 Чем это лучше, чем взятие по модулю?
32:17 Шардирование с фиксированным числом "бакетов". Как делает Redis и Hazelcast

[@sukhoa]

ССЫЛКА НА КУРС: it-es-course.getcourse.ru/main По промокоду ESCOURSE дополнительная скидка 10% до 11 сентября!

[@HideDJeker]

100 партиций на топик это конечно сильно и универсально, такое количество вероятно в любом кластере сделает меньший перформанс - каждая партиция файловый дескриптор, каждая партиция это усложнение этапа ребаланса, увеличивать партиции - норма, и да кафка ничего не сделает, обычно просто предупреждают и потом убеждаются что консюмер группы дошли до конца, а кто нет - его проблемы. К универсальному запасу в 100 и возможному экспоненциальному приросту нагрузки заранее невозможно подготовиться, в теории и со 100 партиций может придется апскейлится, если так страшно - то вы можете перелить данные в новый топик с новым количеством партиций.

[@dylanweinholt4978]

*Promo sm*