Виктор Гамов - Разошлись как в море корабли: Кафка без Zookeeper

Ближайшая конференция - Joker 2024, 9 октября (Online), 15-16 октября (Санкт-Петербург + трансляция).
Подробности и билеты: jrg.su/Ypf1HW
- -
. . . Совсем скоро придет тот день, о котором грезили Kafka-опсы и Apache Kafka ® больше не будет нуждаться в ZooKeeper! С KIP-500 в Kafka будет доступен свой встроенный механизм консенсуса (на основе алгоритма Raft), полностью удалив зависимость от ZooKeeper. Начиная с Apache Kafka 2.8.0. вы сможете получить доступ к новому коду и разрабатывать свои приложения для Kafka без ZooKeeper.
В конечном счете, удаление ZooKeeper упрощает общее проектирование инфраструктуры и рабочие процессы вокруг Кафки. В этом докладе Виктор сделает краткий обзор того, какие ограничения Zookeeper накладывал на архитектуру Кафки и приложений, что будет изменено, а также текущий статус удаления Zookeeper.

[@user-fg6ng7ej6w]

любим Гамова, всегда толковые и живые доклады. скучаем по его участию в Разборе полётов

[@altmindo]

<a href="#" class="seekto" data-time="2210">36:50</a> ответ на основной вопрос: а как zookeeper мешал? saved you time.

[@ilyaafanasyev9714]

А что у нас с ребалансингом консьюмер групп? Это полная фигня, когда множество консьюмеров останавливаются из-за одного упавшего

[@ViktorGamov]

см. KIP-429 и KIP-441

[@Xepacuk]

Какой позор на первых минутах

[@ViktorGamov]

Какой позор?

[@Xepacuk]

@@ViktorGamov я испытал испанский стыд от фичи с пистолетами, рассказа о футболке и внешнего вида в целом. Мне интересна техническая, а не личностная составляющая

[@ViktorGamov]

@@Xepacuk ну перемотай до слайдов пару минут. Там на час с лишним "технической составляющей"

[@ilyaafanasyev9714]

@Victor Gamov братан, не делай замечаний о том, в чём ты не очень понимаешь. Это я о мейнфреймах. Вашей кафке до Parallel Sysplex'a как пешком до Луны...

[@ViktorGamov]

@@ilyaafanasyev9714 я за что "купил" за то и "продал". Юзкейс был не в скорости процессинга, а в том чтобы данные offload из db2. Parallel sysplex вообще про другое