Никита Рьянов - Строим смобалансирующийся мониторинг обработки топиков Kafka с помощью самой Kafka

[@eugenemolokov3427]

Интересное инженерное решение, но ребята как-то заоверинжинирили проблему :) По сути задача состоит в том что у нас есть две тайм-серии: timestamp+offset топика и timestamp+offset консьюмеров. Далее нужно по offset консьюмера найти такой же (или близкий) offset в топике и взять его timestamp (можно использовать логарифмический спуск). В итоге у нас получается два таймстэмпа (от консьюмера и от топика) и их разница и есть требуемая величина (насколько консьюмер отстает от топика в терминах времени). Конкретную имплементацию можно реализовать сохраняя timestamp+offset в какой-нибудь time series db, например можно сохранять в Graphite и метрику вычислять через кастомную функцию.

[@МихаилГусев-э4с]

А слишком а много а, потомучто а и т.п. Говорит плохо автор. Доклад норм.