Коротко: 1 обновите кафку, 2 используйте транзакции - весь доклад. А про вычитывание по 500 сообщений по дефолту и перечитывании до полной обработки и коммите офсета всех 500 - да кому оно нужно!
@57skies2 жыл бұрын
May be you do know kafka, but explaining things is not your asset. This was terrible, sorry mate.
@kza8912 жыл бұрын
Мне кажется или минимум один раз и максимум один раз перепутаны местами? На 25.39
@АнтонМакаров-ь7в Жыл бұрын
25:13 Не понимаю, что мешает вести уникальные id-шники сообщений от каждого Producer? Послал Producer сообщение с id 188, ack не получил, делает retry. А Kafka получив его второй раз видит, что с id=188 сообщение уже есть и отправляет ack без повторной записи... Неужто настолько сложная логика, что сильно затормозит систему? 29:38 - Собственно, что и сделали... ProducerID и SequenceID - очевидные решения.
@alexshavlovsky7922 Жыл бұрын
Внимание! На слайдах в районе 25:00 перепутаны at least once и at most once
@atomic.rabbit3 жыл бұрын
❤️
@владимирсенцов-р1ю5 жыл бұрын
Механизм транзакций похож на то, что в postgres используется.
@EvgenyYugov2 жыл бұрын
enable.idempotence=true ставит кафку(4 ноды 32Гб RAM, min isr 2) версии 3.0 раком, даже при микроскопическом RPS порядка 300 штучек
@faithInAct6 жыл бұрын
До того как изобрели велосипед-kafka уже был JMS
@ВасяВ-ь5м5 жыл бұрын
не путайте теплое с мягким.. очереди сообщений не делают персистент и не перезапускают процессинг.. кафка же позволяет и сохранить сообщения.. и перезапустить процессинг с любого момента времени..
@владимирсенцов-р1ю5 жыл бұрын
Это разные вещи немного. Хотя поверх кафки можно попробовать реализовать cпеку jms.
@CrazyMutex4 жыл бұрын
@@владимирсенцов-р1ю Confluent Kafka JMS Client как раз такое умеет)