Рет қаралды 15,042
Ставьте 2.x
Zookeeper менеджер кластера кафки, управляет мета-информацией.
Кластер кафка состоит из брокер, где хранятся топики.
Топик - это stream data, который состоит из партиций.
Партиция - это кусок данных общего "stream".
Любая партиция может иметь реплики.
Все общение идет через лидера партиции.
По дефолту кафка хранит данные неделю.
Producer:
- 3 типа уведомлений: (asks)
asks=0 (без уведмолений), =1 только от лидера, =-1 от лидера и релпик
- данные пушатся в кафку либо по robin round, либо через подсчет хэша от привязанного к сообщению ключа
Consumer:
- потребляются в группах
- кафка хранит оффсет посленего прочитанного сообщения consumer'ом
- тип уведомлений (как получил, как получил и обработал, и еще какой-то ???)