Apache Kafka: погружение на 45 минут. Григорий Кошелев, Контур, ведущий разработчик

[@SuperRinzler]

2 года не трогал кафку. Самое то, чтоб освежить знания перед собесами. Большое спасибо!

[@HideDJeker]

Важные уточнения - компакшен и удаление только на неактивных сегментах. (бывали случаи когда потребители железно хотели подвязаться на время жизни сообщения или что компакшен отработает для ключа, в общем было бы хорошо упомянуть что это чисто механизмы экономии места и логически подвязываться на них не нужно) Не рассказано про доступность чтения. Можно так же рассмотреть семантики на доставку и если шире смотреть в семантику обработки можно тогда уже рассматривать от отправки до обработки) если вы при отправке позволяете потерять сообщение то чебы не делали на консюмере эт лист онас вы не сделаете) . Время сообщения интересно кстати с точки зрения библиотеки не знаю, но вроде это конфигурируется на стороне брокера какое время использовать для kafka timestamp - клиентское или серверное, подозреваю что при втором кейсе - клиентское будет проигнорировано. В хедерах полезно бывает указывать какие то поля которые могут быть полезны для фильтрации - зачастую в нагруженных системах фильтрация нужных событий может требовать 10% данных, и десериализация какого нить бинарного формата может быть дорогостоящей для фильтрации, ну и всякие моменты что бывает сложно вызвать реконфигурацию на большее количество партиций или заложить их большое количество. Зачем было говорить о партишинере не сильно понял, было бы хорошо упомянуть тут что линеаризуемость обработки сообщений есть только в рамках бизнес ключа который хотим держать в 1 партици. В целом доклад понравился, все по фактам, но если честно не понял для кого это было, тех кто не знает о кафке не осилят такую скорость) а о каких то нюансах наверное мало чего было сказано.

[@_qaroom]

Где же вы были в 2017ом) Спасибо за доклад! А по скорости вообще топ. Я эту информацию выцеплял из 10часового курса)

[@ГлебВалерьевич-у6ы]

Прекрасный доклад, большое спасибо!

[@milordplus]

Спасибо! В конце доклада говорится, что нет DLQ, но есть же DLT или это не совсем то?

[@leomysky]

Хороший доклад, спасибо за информацию

[@KAPYRIN]

Спасибо

[@kookooyob3440]

Жаль, что организаторы не публикуют ссылки на предыдущие выступления автора, которые он упоминает в докладе. Может быть, ещё не поздно их опубликовать?

[@snekbaev]

они спокойно ищутся на ютубе, до этого видео я некоторые из них и посмотрел

[@hurricane-rus]

На следующем выступлении можно попробовать не спешить так, как на этом) Иначе поток информации слишком большой, через 10 минут начинаешь слушать как радио

[@ГлебВалерьевич-у6ы]

нормально, всегда можно затормозить видео