Сергей Махетов - Kafka Тестирование и эксплуатация в условиях ограниченных ресурсов

Ближайшая конференция - Heisenbug 2024 Autumn, 10 октября (Online), 17-18 октября (Санкт-Петербург + трансляция).
Подробности и билеты: jrg.su/Tq0vcu
- Ближайшая конференция: Heisenbug 2023 Autumn - 10-11 октября (online), 15-16 октября (offline)
Подробности и билеты: bit.ly/3qd3swV
- - -
. . .Целевая аудитория: разработчики, тестировщики, ops в системах с Kafka в основе.
В докладе пойдет речь о практиках, используемых для работы с Kafka. Вы услышите интересные случаи из тестирования и эксплуатации Kafka и приложений, которые взаимодействуют с ней.
Контур является одним из главных поставщиков решений для бизнеса в части предоставления налоговой отчетности, электронного документооборота, ведения бухгалтерии, систем ОФД, ЕГАИС и других решений B2B и B2G. Количество сервисов, приложений, транзакций огромно, и для них всех нужно собирать данные телеметрии - логи, метрики, трассировки, затем транспортировать и распределять их в соответствующие приложения для алертинга, хранения и последующего анализа.
Сергей и его команда разрабатывают транспорт для телеметрии сервисов и приложений с Kafka в основе. Система прокачивает на данном этапе 300 тысяч сообщений в секунду на небольшом кластере и этот объем продолжает расти.

[@youngpepelnitsa3416]

Хорошо для введения, но по части тестирования - очень мало, хотя название и конференция как бы обязывают... Тестирование в условиях ограничения по безопасности (протоколирование SSL, SASL), нагрузка при аутентификации, при авторизации, сильно ли падает производительность/скорость при шифровании, например, мне кажется, что это очень даже актуально, особенно для ЭДО. Также, насколько понял, то все примеры были рассмотрены только с одной стороны, а именно поступление данных в Кафку посредством рест запросов, а про нативную ничего не сказано, хотя это уже совсееем другая история.

[@wild4883]

А собственно чем тестировали?

[@ilyark]

Джиметр и Гатлинг. Внимательно не смотрели что ли видео?