Установка Kafka и работа с кластером из одного брокера, третья тема открытого базового курса

Пройти полный курс Apache Kafka База - to.slurm.io/yVOq3g
На курсе расскажем, как настраивать распределенный отказоустойчивый кластер, как отслеживать метрики и многое другое. После прохождения курса станете гуру равномерного распределения нагрузки.
В этом уроке:
00:00 - Цели урока.
00:42 - Запуск Kafka.
04:14 - Запись и чтение.
16:19 - Topic Retention Часть 1.
25:30 - Структура Партиции.
33:51 - Topic Retention Часть 2.
39:11 - Log Compaction.
45:41 - ZooKeeper.
52:13 - Резюме урока.
✅Практические задания и материалы к уроку: github.com/Slurmio/kafka-free
❗️Посмотреть программу продвинутого курса: to.slurm.io/yVOq3g
Все уроки базового курса в плейлисте: • Apache Kafka, открытый...
Авторы курса:
Анатолий Солдатов, Lead Engineer в Авито
Александр Миронов, Infrastructure Engineer в Stripe, ex-Booking
Полезные ссылки:
Канал Слёрм в телеграм: t.me/slurmnews

[@it2341]

Супер, в понедельник с работы всему отделу оплачу ) прям то что надо и так как надо, спасибо

[@freeman_21]

Спасибо все стало понятно

[@RaZeR22L]

Спасибо!

[@gorelin]

Ребят, спасибо большое за уроки! А продолжение будет? или уже есть, но в закрытом доступе?

[@saraantuayal8389]

Спасибо! Жаль поздно вышел курс :) Раньше б увидел, кучу времени б сэкономил

[@manOfPlanetEarth]

как изучали? книгу читал?

[@saraantuayal8389]

@@manOfPlanetEarth А почему вы спрашиваете?

[@manOfPlanetEarth]

@@saraantuayal8389 и ознакомься с понятием диалог.

[@saraantuayal8389]

@@manOfPlanetEarth Тролли и здесь? Вам нечем заняться? И мі с вами на брудершафт не пили.

[@mrFrenchman]

@@saraantuayal8389 а что разве вопрос "как изучали? книгу читал?" какой-то с подвохом? Думаю, что просто интересовались тем, как еще можно изучить тему и возможно тоже посмотреть в эту сторону...

[@noigry]

Спасибо за уроки! Подскажите, можно ли читать данные за какой то промежуток времени? Вижу что есть начало откуда читаем, а можно ли задать конец?

[@user-cj6xf5xw3h]

Правильно понимаю, что после закрытия открытого сегмента партиции (на слайде это active (head) segment) он становится closed segment (и для файловой системы это просто отдельный log-файл)?

[@user-ky4zw4er1c]

Спасибо за видео А почему мы в одном месте задаем время для удаления 1 сек, а в другом 60 сек?

[@MaxMalts]

Супер очень полезно! Но под конец опять начали ругаться незнакомыми словами)

[@predatel_rodini]

Охуенно объяснили. Напомнило мне принцип топиков в ROS

[@manOfPlanetEarth]

почему такие паузы при записи и чтении сообщений?? и при изменении настроек хранения сообщений. удивительно.

[@javaguru1265]

он ждал пока пройдет 10 секунд.

[@saltaization]

Здравствуйте, можно индивидуально просить обучение? Стоимость?

[@slurm_io]

Здравствуйте! Напишите в телеграм @marsel91

[@g0tem449]

на винде сервер с кафка дропается из-за логов

[@mootal2202]

Аппендить новые лайны...

[@ssheba767]

Не подходит для виндовс

[@RomanAlexandrov]

У меня тоже с виндой локально не стартует, запускаю Zookeeper, он ок, а запуск Kafka падает с ошибками.

[@RomanAlexandrov]

Починил скачав другую версию кафки 2.8.2

[@itarara]

Спасибо за урок в таком доступном формате (как раз для меня, чайника) Но столкнулся с проблемой: после запуска команды ./zookeeper-server-start.sh ../config/zookeeper.properties получаю Classpath is empty. Please build the project first e.g. by running './gradlew jar -PscalaVersion=2.13.6' ... и zookeeper не стартует Можете подсказать в чем причина?

[@itarara]

Разобрался, нужно было загружать архив Kafka из раздела "Binary downloads"

[@oleksiibereznikov4774]

./gradlew jar -PscalaVersion=2.13.6 запусти эту команду и все заработает