Apache Kafka основы УРОК 2. Что такое broker, consumer, producer, topic, partition и т.д.

Надежный хостинг FirstVDS! Переходи по ссылке и получай скидку 25% на первый месяц на любой тариф firstvds.ru/s/nzp90
Я последнее время занимаюсь поддержкой Кафки. В этом видео ты узнаешь о Apach Kafka:
Что такой kafka?
Что такое kafka topic и зачем этот топик нужен?
Что такое partition topic kafka и сколько партиций тебе нужно?
Что такое consumer и producer. Чем они отличаются и чем схожи?
Верхнеуровнево разберем как отправляется и считываются сообщения в kafka?
Apache Kafka: Зачем нужна, что это? • Apache Kafka урок 1. З...
REST API • Что такое REST API про...
Монолит VS Микросервисы • МИКРОСЕРВИСЫ VS МОНОЛИ...
Модули в Gitlab CI • GITLAB CI CD сокращаем...
ХОТИТЕ ПОМОЧЬ РАЗВИТИЮ КАНАЛА?
★ Станьте спонсором канала / @pavlenkoat
★ Boosty (подписка донаты) boosty.to/pavlenkoat
★ Яндекс.Деньги: money.yandex.ru/to/4100124083...
★ www.donationalerts.com/r/pavl...
★ www.tinkoff.ru/rm/pavlenko.an...
КОНТАКТЫ:
✦ Канал в TELEGRAM: t.me/worlditech (worlditech)
✦ DevOps/SRE чат t.me/devopssre
✦ Чат для Сисадминов и эникеев t.me/sys_hell
✦ Linux чат в TELEGRAM: t.me/linux_wit

[@NikolaPushkin]

Вау! Все по полочкам! четко и без воды! Продолжать однозначно.

[@barma1309]

Супер!!! Рад что вы продолжаете видео выкладывать! Развод это не конец, а только начало жизни.

[@pavlenkoat]

Да я как-то и не парился насчет развода. Ну развелся и развелся. Идем дальше. Если найду женщину с которой мне попути, то сойдемся. Нет. Я и так в жизни реализуюсь. Плюс есть ребенок с которым мы проводим переодически время.

[@jozz3235]

ооо на прошлой работе столкнулся с kafka и тогда понятия не имел об этом, такие видео очень помогают быстро уловить суть

[@IvanIvanov-ix3vj]

3:50 перепутано понятие партиции и реплики. Партиции нужны для масштабирования параллельной обработки сообщений консьюмерами. (К одной партиции может подключиться только один консьюмер) В партициях находятся РАЗНЫЕ сообщения одного топика.

[@yavener]

верно, а реплики хранятся в разных брокерах. Еще момент - данные в топиках удаляются, точнее в каждой партиции удаляются сегментами по выставленной настройке (ограничения на макс размер партиции или времени хранения).

[@ricardomilos857]

К одной партиции может подключиться только один консьюмер с одной и той же группы консьюмеров. Т.е. два консьюмера с разных групп МОГУТ читать одну и ту же партицию

[@valbv]

Спасибо за информативное видео! Как раз решил почитать про кафку поподробнее и тут выходит видос )

[@STAP2011]

Огромное спасибо за твои видео! Максимально короткие и полезные)

[@dasydasy9268]

Все точно без лишней инфы. Большое спасибо! Точно продолжайте

[@romann1295]

Огромное спасибо! Не останавливайся, продолжай пилить контент

[@MainDevOps]

Спасибо. Как раз появилась необходимость именно структурировать разрозненные данные о Кафке )

[@Max-hf8ju]

Как раз пришел в компанию администрировать кафку) Продолжай!

[@iraklidavitaia]

Тема интересная, а подача очень хорошая. Продолжайте по возможности. Спасибо.

[@sptica]

Спасибо, очень в тему. Ждём продолжения :-)

[@Aticinsane]

Спасибо! Продолжайте, тема полезная!

[@FBIYgolek]

Ждем продолжения!

[@nikolai_kelin]

Привет! Снимай ещё! Хорошо получается. Чётко, доступно. Жду продолжения ))

[@Dodexpwnz]

Антон, огромное спасибо за твои видео! Постигаю DevOps практики, аттестация в УЧ на этой неделе. Невероятные объемы информации поглощены, пол года трудов. В скором времени проходить собесы.

[@Silver-Parallaxis]

как успехи с трудоустройством?)

[@user-iu6lp5ui9c]

Очень доступно рассказываете, спасибо!

[@wandos777]

Конечно, продолжай снимать видео !

[@porovozikthomas2971]

Спасибо! да было бы здорово увидеть от тебя еще одно видео по кафке(грефневой)

[@marusiad2784]

Спасибо огромное за видео. Только теперь я разобралась, что это такое Кафка.

[@OlgaBelova]

Очень нужно продолжение!

[@Lammax2012]

Классно. Интересно. Почти понятно. Нужно ещё )

[@suntwo91]

Очень классное видео, спасибо!

[@coffeepanda722]

Спасибо за видео ролики. Очень полезно

[@v1tbrah]

Спасибо большое, интересно, доступно, понятно!

[@andrewnatalin7647]

Спасибо большое, Антон, очень понятно объяснили!

[@user-jh9zk8ts5y]

Антон, тема очень интересна. На новой работе Кафка это моя основная задача) Если можешь то выведи на монитор консоль и сделай пару примеров с консьюмер группами

[@annoil1]

продолжай, тема интересная. Жги!

[@TESSkyrimV]

А я люблю kafky гречневую. Спасибо за ролик, так держать! Хотелось бы увидеть на практике применение.

[@smokzpolski]

Вот, тут уж смело лайк, уже не поликлиника. Еще бы в следующих выпусках с реальными скринами - и будет вообще огонь.

[@sovrinfo]

Спасибо за видео.Коммент в поддержку!

[@maxNamarra]

Очень познавательно, спасибо большое 👍🏻

[@efajunk]

Тема интересная. Продолжать определенно стоит

[@Mr4E4ETKA]

Очень нужно. Я как раз столкнулся с этим.

[@natielsanti407]

Спасибо за ролик!

[@uvesel4ak]

Отлично выглядишь, Антон. Здоровье явно пошло на поправку. Молодец.

[@alexkpvts]

Спасибо, огромное!! Ты крутой! Очень понятно! Было бы круто ещё видео инструкции посмотреть. На практике.

[@turumpurum9374]

спасибо, очень актуально, буду ждать продолжения

[@pavlenkoat]

Продолжение есть на канале. Его не смотрели

[@turumpurum9374]

@@pavlenkoat , уже посмотрела, теперь жду ещё)

[@annachurkina2588]

Продолжать! В том же духе! Так же бодро, юмористично и доходчиво!👍 А я девочка и я хочу увидеть конфиги! Где они лежат, что из себя представляют. И еще примеры с числами. 🤗

[@QAWayAuto]

Спасибо огромное! :)

[@mironovnikolay]

Спасибо большое, Антон, и за ролик, и за то, что сдержал обещание из коммента к прошлому видео по Кафке. Я наконец сообразил, как устроена ее архитектура, и теперь буду ждать видеопримеров, так сказать, «на кошках». Надеюсь, у тебя найдётся подходящий стенд для демонстрации.

[@pavlenkoat]

Стенда к сожалению нет. Небольшую практику опишу в телеграм канале. Как можно потыкать Кафку.

[@yuridrozdov4069]

Познавательно. Спасибо.

[@DunSety]

хахаха про девку топ, командир, а сделай стрим как поднимаешь кафку например или просто видос пожалуйста

[@vshefer]

Давай дальше по кафку, интересно!

[@pavlenkoat]

Последнее видео не зашло как наберёт. 4000 просмотров продолжу

[@rafiqmammedzade9689]

Отличное видео

[@yosapanaitov]

Спасибо!

[@Dragoncheg]

Спасибо. Хорошо бы еще наглядности добавить, а то объем новых слов в 8 минутах немного зашкаливает и сложно все сразу уложить в голове.

[@romancomit9210]

Кайфовый выпуск

[@imabouttobe]

Интересно!)

[@user-qm2zu3rk4b]

Антон, большое спасибо за видео(очень содержательно за такое время), хотелось при возможности больше подробностей про сообщении, топики, особенно меня интересует тема с доставкой сообщений конкретным пользователям, что лучше использовать? много топиков или ключи в сообщениях? просто не очень до конца понимаю механизм Kafka

[@ivanivanov-hl7ry]

Спасибо за видео Антон! Если будешь делать следующий урок, расскажи пожалуйста про жизненный цикл сообщений и как влиять на него. Просто ты сказал что они не удаляются, а что с ними происходит и как этим управлять интересно.

[@pavlenkoat]

Уже даже кусок сценария есть по поводу очистки. Я его вырезал из этого видео.

[@user-zf9ur8sy5n]

огонь

[@user-sv3ne7jg9n]

Заваривайте вашу любимую кафку. ))) Как раз заварил себе овсянную кафку из пакетика перед видео. Подсел на неё когда начал худеть.

[@rostislav-nikolaiev]

Спасибо

[@kawaikaino5277]

Очень хотелось бы на практике рассмотреть, в вашем исполнении

[@odessatester4792]

Начало должно начинаться с речи -а сейчас Я вам покажу, откуда Kafka... ну и .т. д. :)

[@vladdrzd6484]

поставил лайк, написал коммент

[@GerasimovNikita]

Антон, вы сказали, что сейчас происходит отход от зоокипера - не могли сказать, куда этот отход идет, что сейчас является главной альтернативой? сменится подход coordination service в целом или будет переход на другую библиотеку?

[@yarrdd2589]

зашёл просто для лайка

[@tswtcjahhgg]

Интересно

[@laiza1fox]

Ой, а можно еще раз про топики, зачем и как они работают.

[@Mitlas]

было бы ещё интересно сравнить кафку с rmq и прочими

[@user-il6hw4dp5n]

В другом видео видел что консьюмер не читает из слэйва. Пишет в лидера и читает из лидера. А если лидер падает - выбирается кандидат из фоловеров, в который пиcалось синхронно. Хоть вроде и сделано по аналогии с репликацией БД

[@samrybkin9184]

Привег может посоветуешь какой русскоязычный нормальный ресурс для изучения Kafka?

[@brodlovherrsov7097]

Круто, готов купить ваш платный курс по кафка

[@RedLegioner]

Когда нам может пригодиться кафка? Для хранения событий и исполнения ряда действий на событие?

[@pavlenkoat]

События, логов, пересылка сообщений между приложений. В бигдате его используют.

[@eduardmart1237]

В чем преимущество у Кафки перед rabbitmq?

[@lRickl]

Спс. Но как масштабировать кафку, если нужно добавить в кластер из 3х нод еще 2 ноды без перезагрузки (сервиса) конфига. TCP проксированием через nginx или haproxy ?

[@pavlenkoat]

Кафка самостоятельная системе. Если за неделю наберётся 3000 просмотров расскажу в следующем видео Как происходит балансировка нагрузки и добавления новых нод. Если нет то наверно придётся закруглятся. Так как у меня уже что-то мотивация от количества просмотров пропадает. Но я подожду.

[@Eustrop]

Посмотрел. Понравилось. Продолжать. А сколько всего уроков запланировано? Или "как пойдёт"? Hint: я когда о чем-то планирую рассказать, сначала составляю план уроков, и первый урок - обзор плана. P.S. стенд, про который народ, справедливо, спрашивает - это хорошо-бы, но ему нужна какая-то практическая задача. Был у меня такой проект и курс NETMandala, мы на столе сеть оператора связи собирали, с нуля. Тут если делать стенд, какая-то подобная идея нужна, которая вытекает из тех реальных задач, где Кафка применяется.. про это, кстати, тоже можно рассказать.. P.P.S. этот комментарий, с размышлениями вслух - для алгоритмов, все вопросы - риторические и не требуют ответа ;)

[@pavlenkoat]

Как пойдёт. Сейчас основы расскажу потом буду делать отдельные ролики о разных фишках. На ютубе мало смотрят многосерийные выпуски почему-то. Поэтому я и байтю на просмотры.

[@popalex1990]

Поправка - сообщения распределяются по партициям, иными словами в партициях одного топика лежат разные сообщения (не одинаковые)

[@kumb61]

Примеры были бы очень кстати

[@user-zx8en4tb3h]

More Kafka

[@user-fr4di4jv6q]

А разве через admin api не удалить сообщения? deleteBefore например по офсету

[@pavlenkoat]

Пользователю оно недоступно.

[@mikhaildiesperov2345]

Так, мне задачу делать надо. Где продолжение?)

[@pavlenkoat]

kzbin.info/www/bejne/noqciJmMh7t5hqc Но увы не зашло видео без напоминания))))

[@timyarmatoff5291]

Все же, без теоретической подготовки computer science тяжеловато понять.

[@eduardmart1237]

А если они никогда не удаляются, не значит ли это что память просто закончится в один прекрасный момент?

[@pavlenkoat]

Они не никогда не удаляются скорее их нельзя удалить

[@Diadema566]

фигасе у вас аллегории.

[@vladdeiy572]

+

[@krionick]

Мсьё, Вы извините меня, но в скором времени я Вас затеребонькаю вопросами=)))

[@user-qi8xp5xi3c]

В этом видео мы подключаемся к очереди, а не к потоку)

[@pavlenkoat]

Ну да ты прав

[@kote315]

И информация вроде как полезная. И вы вроде все хорошо рассказываете, и юмор присутствует в оптимальных объемах. Но если я не разрабатываю веб-приложения (и вряд ли хочу этим заниматься) и не пытаюсь организовать обмен данными между ними, то выходит что мне это не нужно. Я не знаю что делать. Смотрю канал давно и бросать не хочется. Привык уже) В то же время забивать голову ненужной фигней тоже не хотелось бы. Такие дела...

[@pavlenkoat]

Канал это по сути мой профессиональный дневник. Я сейчас работаю над кафкой. Поэтому делюсь с людьми этими знаниями.

[@ricardomilos857]

Очень много инфы расходится

[@nikolaifedorov685]

Снимай дальше! На безрыбье и рак - рыба.