Григорий Кошелев - Когда всё пошло по Кафке 2: Разгоняем продьюсеров

Ближайшая конференция - Joker 2024, 9 октября (Online), 15-16 октября, Санкт-Петербург
- -
. . . Продолжение доклада «Когда всё пошло по Кафке», но основное внимание будет уделено Producer: разберёмся, что находится у него под капотом и как это работает. Этот доклад будет про тюнинг производительности Producer: поиск узких мест и выбор оптимальных параметров по требованиям.
Мы подробно разберём работу Producer:
Какие настройки влияют на его производительность;
Какие перформанс-метрики есть и что они значат;
Поиск узких мест;
Выбор параметров под внешние требования (latency, throughput, reliability).

[@DudeSkinnyTall]

Лучший доклад по Кафке, что я смотрел. Вот бы ещё по брокерам аналогичный разбор!

[@stanislavsavulchik9705]

Очень классный доклад, спасибо!

[@privettoli]

Было-бы посмотреть похожий разбор по реактивному клиенту.

[@57skies]

I don't think that your explanation around "max.in.flight.requests.per.conection" is good enough. It's a far more complicated setting with regards to order. Otherwise the presentation was fabulous! It took a while to understand your point about : record-queue-time-avg/2. If you have 4 messages and in a perfect world they would arrive 2ms apart (for example), it means that the batch will have stayed 6ms in the record accumulator (again, in a perfect world). At the same time the average of each message in a batch would be : (6ms for the first message) + (4ms for the second) + (2ms for the third) + (0ms for the fourth) = 12ms / 4 messages = 3ms; OR record-queue-time-avg/2.