Григорий Кошелев - Когда всё пошло по Кафке

  Рет қаралды 39,401

JPoint, Joker и JUG ru — Java-конференции

JPoint, Joker и JUG ru — Java-конференции

Күн бұрын

Пікірлер
@vibedistortion
@vibedistortion 5 жыл бұрын
познавательно и по делу!
@alexanderten9540
@alexanderten9540 Жыл бұрын
Можно разобрать async...await как мессадж времени жизни по Кафке? Это то, что Бутстрапу нужно от Кафки
@antNecrom
@antNecrom 5 жыл бұрын
Очень приятный докладчик, очень хороший доклад
@TaranovskiAlex
@TaranovskiAlex 5 жыл бұрын
Спасибо за доклад!
@olegmaslov2057
@olegmaslov2057 4 жыл бұрын
10:50 Какой смысл считать номер партиции для нового сообщения? Ведь банальный "револьверный подход" будет сохранять новые сообщения равномерно по всем партициям по кругу. А на высчитывание хэша и получение остатка от деления уйдёт какое-то процессорное время...
@avchitov
@avchitov 4 жыл бұрын
например, если нужно чтобы данные по одному и тому же клиенту попадали всегда на одну и ту же партицию. Почитайте про шардирование - аналогия 1 к 1.
@johngraham8220
@johngraham8220 3 жыл бұрын
18:02 не понял противопоставления ОРСУБД и брокера сообщений. Это как бы штуки, предназначенные для разных целей.
@simplechannel7859
@simplechannel7859 4 жыл бұрын
Лайк докладчику!
@pvinnie3827
@pvinnie3827 Жыл бұрын
а теперь еще помножте все это на разную реализацию в разных либах на разных ЯП. Автору респект, конечно
@derzimstroy
@derzimstroy 5 жыл бұрын
А кто может сказать, как определяется момент удаления сообщения в шине, если она не знает ничего про подписчиков ? Или всё-таки знает ?
@hrensgoryable
@hrensgoryable 5 жыл бұрын
В каждом топике настраивается retention - критерий удаления сообщений. Можно настроить по времени (от момента получения сообщения, это включено по умолчанию с временем жизни в одну неделю) или по размеру данных топика на диске. Про подписчиков топик ничего не знает, ему всё равно есть ли они, сколько их, кто из них что прочитал и т.п. - это их дело.
@derzimstroy
@derzimstroy 5 жыл бұрын
@@hrensgoryable Спасибо за пояснение, возникает ощущение, что Кафка не годится для систем где сообщения принципиально не должны теряться и дублироваться например, банковских или платежных. А вот для всяких логов/статистики - пойдет.
@hrensgoryable
@hrensgoryable 5 жыл бұрын
@@derzimstroy чтобы не терялись можно добиться относительно просто, а вот к повторному появлению того же сообщения в обработке надо быть готовым.
@derzimstroy
@derzimstroy 5 жыл бұрын
@@hrensgoryable На клиентах надо тщательно кодить и сохранять id последних обработанных собщениий, нет воокфлоу обработки и обогащения сообщений, а в чем тогда преимущества ? Типа бесплатный сыр ?
@hrensgoryable
@hrensgoryable 5 жыл бұрын
@@derzimstroy на клиенте надо всегда быть готовым к тому, что прилетит уже обработанное сообщение (либо быть готовым к потерям) - гарантии доставки уровня exactly once это скорее теоретическая возможность такой доставки, чем практическая гарантия. Преимущества - имеется в виду перед чем? Если вам не нужно обрабатывать миллионы/миллиарды сообщений в день, то JMS как по мне удобнее. Если надо - то Кафка выглядит интереснее, т.к. она изначально спроектирована так, чтобы её легко было горизонтально масштабировать, когда возможностей вертикального масштабирования уже не хватает.
@mfe_
@mfe_ 4 жыл бұрын
Очень жизненно, к сожалению.
@vyacheslavbelov4320
@vyacheslavbelov4320 5 жыл бұрын
Хороший доклад. Люди заново изобретают велосипед. Смотрю на все это и думаю чем JMS не устраивает? В лучшей его реализации. С 2008 года использую Sonic MQ. Все там было о чем сейчас хайп поднимают.
@12zxqwas1
@12zxqwas1 5 жыл бұрын
На 4 минуте ответ уже.
@vyacheslavbelov4320
@vyacheslavbelov4320 5 жыл бұрын
И это все? Но увы, тоже есть в JMS.
@manOfPlanetEarth
@manOfPlanetEarth 3 жыл бұрын
@@12zxqwas1 Есть чем дальше парировать Вячеслава Белова?🤔
@manOfPlanetEarth
@manOfPlanetEarth 3 жыл бұрын
@@12zxqwas1 ????
@ildarvalitov2568
@ildarvalitov2568 Жыл бұрын
Кафка это распределённый высоконадежный и высокопроизводительный лог. Этот проект был спроектирован как лог. Его можно использовать как massage broker, но это вариант использования 😊
Кирилл Толкачёв и Егений Борисов - Reactive или не reactive, вот в чем вопрос
1:05:56
JPoint, Joker и JUG ru — Java-конференции
Рет қаралды 42 М.
Григорий Кошелев - Когда всё пошло по Кафке 2: Разгоняем продьюсеров
1:11:54
JPoint, Joker и JUG ru — Java-конференции
Рет қаралды 12 М.
Хаги Ваги говорит разными голосами
0:22
Фани Хани
Рет қаралды 2,2 МЛН
Владимир Плизга - Путеводитель по анализу памяти JVM-приложений
46:11
JPoint, Joker и JUG ru — Java-конференции
Рет қаралды 3,6 М.
Андрей Серебрянский - Грузим в Kafka из базы: с CDC и без
43:06
JPoint, Joker и JUG ru — Java-конференции
Рет қаралды 2,3 М.
Про Kafka (основы)
49:23
Владимир Богдановский
Рет қаралды 421 М.
Григорий Кошелев - Когда всё пошло по Кафке 3: Apache Kafka и Consumer
53:44
JPoint, Joker и JUG ru — Java-конференции
Рет қаралды 10 М.
Григорий Кошелев - Kafka: от теории к практике
1:03:30
DotNext — конференция для .NET‑разработчиков
Рет қаралды 37 М.
Андрей Паньгин - JVM TI  как сделать «плагин» для виртуальной машины
51:56
JPoint, Joker и JUG ru — Java-конференции
Рет қаралды 2,4 М.
Типичные ошибки при работе с Apache Kafka - Виктор Корейша
54:47
Spectr — команда разработки цифровых сервисов
Рет қаралды 3,1 М.