Немного о: RabbitMQ, Kafka, Redis, Memcached, NuxtJS, MongoDB, PostgreSQL

Кратко о каждом из сервисов.
Презентация:
docs.google.com/presentation/...
Личный канал Антона: / @about-code

[@orlov_alex]

0:40 RabbitMQ 9:34 Apache Kafka 15:10 Redis 19:30 Memcached 21:19 NuxtJS 25:55 MongoDB 30:33 PostgreSQL

[@Rclass]

Спасибо, в закреп :)

[@w0nderiand697]

Eeeeeeeeeeeeee eeeeee eeeeeeetteeeeeee eeeeeee

[@artsemvilchuk9037]

Очень смешно получилось когда докладчик постиг дзен и стал невидимым на 20:43 секунде 😂

[@Rclass]

Это новая технология! :)

[@dmitrys5289]

Закэшировался)))

[@episarev]

Немного испугался

[@user-np3bv8bw1o]

особенно смешно то, что он в этот момент как раз говорил про время жизни объекта))

[@Rclass]

@@user-np3bv8bw1o garbage collector в действии)

[@user-mt9bq2xe1z]

Классно, что редис работает пиздец как быстро) спасибо за видео

[@user-oi1zl6de8i]

Докладчик заработал мою подписку на этот канал. Красавчик!

[@Rclass]

Стараемся :)

[@predatel_rodini]

Аналогично

[@nikolaborkowski9942]

А я свою подписку не считаю чем то что можно заслужить, просто дикое спасибо за техничность,наглядность и понятность!

[@l7l7l7lful]

+

[@Insaseven]

Спасибо докладчику, стояла задача понять отличие RabbitMQ от Kafka - это лучшее русскоязычное видео, поверьте.

[@Rclass]

Cпасибо :) Стараемся для вас ^_^

[@da_volkov]

Так и есть! Согласен с комментом - тоже считаю одним из лучшх обзорных видео!

[@user-is8ov1km3t]

Очень круто, харизматично и доступно) Удобный формат, когда нужно просто иметь представление о технологии. И лучше получить это представление от человека, который работал с данными технологиями, нежели пытаться составить самому, тратя много времени.

[@Rclass]

Спасибо за доверие :)

[@user-ww4rl3sn7z]

Великолепное видео. Автор выделил основные моменты всех систем так что можно сразу понять что это за технология, а дальше просто углубляться в мануалы. Огромное спасибо!

[@Rclass]

Спасибо за отзыв, мы старались :)

[@i292555]

Докладчик очень хорошо рассказывает и без воды! Прямо топ! Подписка однозначно!

[@Rclass]

Спасибо :)

[@aleks_strong]

Отличная подача материала, коротко и ясно! Спасибо!)

[@Rclass]

Спасибо, стараемся ^_^

[@dasydasy9268]

Быстро, понятно, без лишней информации! Спасибо за видо!

[@Rclass]

Спасибо за отклик :)

[@user-wu7ne2tu8l]

Вот прямо классно рассказал! Нужно больше материала:))

[@Rclass]

Спасибо, стараемся ^_^

[@Waclawable]

Спасибо, для знакомства аналитикам и техническим менеджерам - отличный формат.

[@Rclass]

Спасибо, мы старались :)

[@VLoginov]

Прямо выжимка ценного! Огромное спасибо за такие видео!

[@Rclass]

Спасибо, стараемся для вас :)

[@user-qw9uo4wo5p]

Все и правда понятно! Год назад, как только заходил в сферу айти ничего не понимал, а сейчас сталкиваюсь с тестированием на проекте, где два приложения обмениваются сообщениями с помощью брокера (RabbitMQ) и нужно было протестировать в web-интерфейсе корректный роутинг, payload и header, теперь стало все понятно и корректно закрыл задачу =) Благодарю!

[@Rclass]

Ура! Рады, что помогли :) Спасибо за отклик :)

[@user-wp1wl4fm1f]

на пальцах и по делу!

[@futuresenior]

Считаю, что это лучшая реклама кофе якобс монарх. Большое спасибо, было очень интересно

[@Rclass]

Спасибо)

[@tomozi1]

Классный обзор

[@y6vmeq]

Отличный видос! Все кратко и понятно. Подписка!

[@Rclass]

Спасибо, мы старались! :)

[@user-ii1to8gy8y]

Интересно было узнать про PostgreSQL. Спасибо!

[@Rclass]

Спасибо за отклик, мы старались ^_^

[@ZzooD]

Четко и по делу, без лишней воды. Вообще красава.

[@Rclass]

Спасибо, мы старались ^_^

[@orhanahmadov9381]

Отлично, без пафоса и воды. Четко и понятно!

[@Rclass]

Спасибо, мы старались :)

[@hate_r]

Это именно тот способ изложения инфы, который я хотел услышать!

[@Rclass]

Спасибо, мы старались :)

[@Garpunoff]

Господи, как найти работу, чтобы начальник был вот таким грамотным и весёлым дядькой?

[@Rclass]

Да это не так сложно как вам кажется)

[@Rclass]

А вообще можно самому стать вот таким "веселым дядькой")

[@-dubok-]

Спасибо, очень интересный доклад!

[@Rclass]

Благодарим вас :)

[@koller18]

Спасибо большое за это прекрасное видео! 👍

[@Rclass]

Спасибо, что смотрите)

[@user-iu4hl5fy3j]

Ахеренный видос, спасибо

[@Rclass]

Стараемся ^_^

[@dimankan]

Чисто отдельная подписка за презентацию:)

[@Rclass]

Ай спасибо! :)

[@user-fg5ge8sg4e]

Отличное обзорное видео! Спасибо! Не знал, что в Postgres можно хранить массивы)

[@Rclass]

Спасибо за отклик) Более того, по ним можно строить запросы :) В скором времени по JSONB отдельно можно рассказать, так как будет опыт применения в production.

[@user-tt4mg2jq2b]

Крутой обзор! И канал топчик. Лайк, подписка!

[@Rclass]

Спасибо, мы старались ^_^

[@user-ew5fb6ci2h]

Отличное видео! Большое спасибо!

[@Rclass]

Спасибо, мы старались

[@user-tj3dr5se4n]

Отличный докладчик👍🏻👍🏻👍🏻

[@Rclass]

Спасибо! :)

[@yodapunishes]

Отличнейший обзор, ничего лишнего!

[@Rclass]

Мы рады что вам понравилось :)

[@piotrstasinskij2929]

Лектор очень крут, спасибо за презентацию

[@Rclass]

Спасибо, стараемся для вас :)

[@andyanderson222]

Класс! Очень хороший обзор, спасибо!

[@Rclass]

Спасибо, мы старались :)

[@MrJet84]

Спасибо, спасибо, спасибо! Наконец-то я что-то знаю про брокеры сообщений

[@Rclass]

Всегда пожалуйста :)

[@dayverul]

"Отдай свежатину!". Сердечно благодарю за ролик)

[@Rclass]

Спасибо большое :)

[@xcxc-iu3rb]

спасибо, понятно и ёмко

[@Rclass]

Спасибо, мы старались!

[@mishakalyna]

Спасибо за доклад! В Nuxt при создании SPA понятно, что проблемы с SEO, но при SSR ведь не должно быть проблем

[@Rclass]

SSR и решает (как одну из) проблему с SEO :)

[@user-xv3xb8hd5z]

Оч крутое видео. Спасибо)

[@Rclass]

Спасибо, что вы с нами)

[@SandroAtaman]

Спасибо! Видео ТОП!!

[@Rclass]

Спасибо, мы старались :)

[@sherman258]

Годный видос

[@Rclass]

Спасибо)

[@darakanoit]

Хорошо получилось

[@robotiksillya8363]

очень крутой выпуск для понимания баз данных неожидал тут Nuxt увидеть) сам пишу на нем

[@Rclass]

Тут не только о базах, тут в целом по технологиям и решениям)

[@EdontworryE]

Класс, спасибо!)

[@Rclass]

Спасибо, мы старались :)

[@vladegorov216]

испугался, когда лектор сказал "истекло время жизни" и исчез

[@Rclass]

Спецэффекты которые мы заслужили ))))

[@saibrok_]

Наконец кто-то объяснил человеческим языком как всё это работает, а не миллионом технических терминов. Спасибо!!

[@Rclass]

Спасибо, мы старались :)

[@user-mt2mb5sz3x]

Бро, спасибо!

[@Rclass]

Вам спасибо за отклик :) Стараемся ^_^

[@konstantinchvilyov9602]

Отлично, спасибо!

[@Rclass]

Спасибо, мы старались ^_^

[@snv4074]

Спасибо за ролик очень познавательно и интересно, но только на сколько я помню, Kafka позволяет одному консьюмеру читать данные с разных партиций и офсет не принадлежит определенной партиции, каждый офсет определяется для отдельной консьюмер группы

[@Rclass]

Спасибо что смотрите :) Да, ранее уже сообщали :)

[@kakieToYroki]

Нахватался бэкендерских словечек )) Спасибо, подписался 🔥

[@Rclass]

Это только начало) Можете начинать собирать словарь)))

[@kakieToYroki]

@@Rclass Буду выходить с этим словарем в курилку и обсуждать всякие редИсы со взрослыми дядями бэкендерами )

[@yerlantleubekov7589]

Шикарно

[@Rclass]

Спасибо, мы старались!

[@maksim4334]

Вот смотрю я ролик и понимаю, не Монго бд... Видео потрясающе, спасибо большое!

[@Rclass]

Спасибо, мы старались :)

[@gnom.s]

Спасибо большое, все очень понятно объясняете. Отдельный лайк за оптимизм 🤣

[@Rclass]

Спасибо, мы старались :)

[@zincarlo1141]

Хорошая подача материала, немного не хватает описания примеров использования данных сервисов, типа вот это збс будет в такой задаче и тд. Пс. Лайк и подписка

[@OkulovAnton]

Интересная идея. Давайте я подумаю над этим. Возможно, сформирую список задач и расскажу например как бы я их решал :)

[@zincarlo1141]

@@OkulovAnton вот это было бы супер!

[@ruikousaka7884]

Хороший обзор... Хотелось бы подробнее о RabbitMQ (В частности в Kubernetes, как все работает...)

[@Rclass]

Спасибо, мы старались! К сожалению, про работу в Kubernetes нам нечего рассказать (

[@enot41]

Есть такие как я которые заходят каждые три месяца чтобы вспомнить что нибудь про брокеры, из за того что вообще по работе не связанны с ними ,но хотят хоть что то о них знать))) Такладчик ты супер ))

[@Rclass]

День добрый! Не совсем поняли что вы имеете ввиду, но полностью с вами согласны)))

[@paveldz6921]

Спасибо

[@Rclass]

Спасибо, мы старались :)

[@EMIL-pp6pp]

+ respect

[@Rclass]

Thx for watching :)

[@DIMANVAZ04]

за Раббит и Редис спасибооу, также и за Монгу (за инфо, что в ней можно вставлять жабоскрипт-код).

[@Rclass]

Мы рады, что вам зашло :)

[@MrMoshell]

Лови подписку брат!

[@Rclass]

Спасибо, мы старались :)

[@MrMoshell]

@@Rclass ну тогда ловите подписку братья)

[@njs4724]

Как ты научился исчезать? 2:41 Сделай следующее видео про это. Типо "невероятно, но факт..." ))))))

[@njs4724]

ой на 20:41

[@OkulovAnton]

Отвлекли в середине доклада) пришлось пропасть)

[@Mr43046721]

Безумно классный рассказчик)) прям хоть под пиво сиди смотри))

[@Rclass]

Спасибо, мы старались :)

[@youarenotmygoal4890]

40 минут смотрел рекламу Якобс. Чет кофейку захотелось

[@Rclass]

Сработало! Там еще скотч сантехнический, лейбл только потерялся)

[@user-yo7mw6oj4p]

Блин..Тоже что то захотелось...А был в завяске от кофе ((

[@Rclass]

@@user-yo7mw6oj4p так давайте к нам на кофе? У нас кофемашина неплохая и кофе свежий, мы вам такой капучино сварим, ууух!

[@user-yo7mw6oj4p]

@@Rclass Classое предложение))))

[@user-yo7mw6oj4p]

@@Rclass )))))

[@alexandreabramtsev9160]

6:19 плюет на routing key - верно, плюет на binding - тут оговорка, как раз то не плюет потому что именно binding определяет в какие очереди положить. Во все, которые прилинкованы к обменнику.

[@Rclass]

Спасибо за уточнение :)

[@Rusebor]

На 12:10 сказано что в Кафке одна партиция один консьюмер. В том смысле в котором имеет в виду автор это не так. В Кафке у топика может быть множество консьюмер групп, что по-сути и означает множество консьюмеров на одном топике, каждый из которых со своим офсетом

[@OkulovAnton]

Отличное замечание, учту.

[@StrangerSaret]

и оффсет это не байтовое смещение

[@LitvinchikL]

Истекло время жизни🤣🤣🤣

[@Rclass]

Так бывает)))

[@alexey7835]

Здорово ведёте урок, спасибо!

[@Rclass]

Спасибо, мы старались ^_^

[@sergeyshcherbakov3653]

В целом познавательно, но про Kafka что-то совсем поверхностно рассказано. Соотношение Consumer и Partition 1:1 это, конечно, правда. Но только в рамках одной ConsumerGroup! Ничто не мешает подключить несколько групп Consumer'ов к одному топику. И это как раз классная фишка Kafka - гранулярность может быть настроена очень тонко. Интересно также отметить, что Kafka гарантирует направление сообщений с одним и тем же ключом в конкретный Partition, чем самым гарантируется очередность (если она нужна)

[@Rclass]

Ага, отмечали уже в комментах) В целом надо было примерно прикинуть что это за зверь и чем принципиально от других брокеров отличается.

[@user-wz8ld7sm6k]

Докладчик отличный

[@Rclass]

Спасибо, мы старались ^_^

[@kazakman7772]

Вопрос. Я задеплоил мемкеш на кубернетес кластер в aws. Он ранится в неймспейсе мемкеш. Под ранится также. И в кластере ранятся апликейшны. Вопрос как их связать аппликейшн и мемкеш под чтоб он оттуда брал информацию перед ДБ. ДБ у меня постгрес так же на aws. Нужно связать бакенды.

[@Rclass]

Писать руками кеширование в мемкеш внутри приложения. Если всё правильно поняли.

[@kazakman7772]

@@Rclass я понял. Но я не разработчик, эти жава аппликейшны не я писал.

[@Rclass]

@@kazakman7772 тогда вряд ли что-нибудь получится(

[@user-tc7fq3jj2w]

Godlike

[@Rclass]

Thx)

[@l7l7l7lful]

вот это я понимаю экспресс обучение

[@Rclass]

Быстрее только список ссылок дать)

[@MakarenkoSasha]

истекло время жизни...жестоко, очень 20:39

[@gost1k337]

Докладчик пиздатый чел)

[@Rclass]

Аееее, спасибо)

[@user-ch7ue6gd4d]

Класс...

[@Rclass]

Спасибо, мы старались ^_^

[@Disorrder]

Вопрос по постгресу и его возможности использовать json атрибуты. Вот у меня есть таблица неких сущностей, которые хочется видеть в одном списке, но этих сущностей очень большое кол-во категорий со своими уникальными полями. Например, пусть будут товары. Мы продаём видеокарты и мониторы. У них совершенно разные параметры. Искать и сортировать по ним не обязательно, важно их только читать и редактировать. Категории постоянно добавляются новые, товары нельзя перемещать из одной категории в другую, у них немного отличаются интерфейсы. К тому же, бывают уникальные товары, которые существуют в единичном экземпляре для отдельной категории. Например, вертолёт. Вот он есть только у одного юзера и всё. Городить отдельные таблицы под каждую категорию не очень хочется. Джойнить их потом... фу, очень сложно. Я уже отчаялся и думаю использовать монгу под это дело. Но заводить монгу для одной-единственной таблицы как-то не хочется тоже, странновато. А вот json возможно выход. Типа назвать поле, скажем, category_attrs и складывать туда уникальные поля? 🤨

[@Rclass]

Если вам нет необходимости сортировать и фильтровать продукты (назовем их так) по этим уникальным полям, то хранить их можно как вам заблагорассудится (да хоть как текст через запятую в одном текстовом поле), так как работу по сериализации / десериализации данных можно переложить на ваше приложение. Если же вам необходимо фильтровать / сортировать данные то варианта сейчас по-сути два (если оставаться в рамках PostgreSQL): 1. EAV (ознакомьтесь с этим методом поподробнее) 2. JSONB - как мы и упоминали в видео, это мощный инструмент, который позволяет строить не просто запросы с применением данных из JSON-поля, но даже формировать по ним индексы, что существенно скажется на производительности запроса. Лоб в лоб оба метода мы не сравнивали, но применяем оба в работе над своими проектами.

[@Disorrder]

@@Rclass почитаю подробнее, спасибо!)

[@maestro256]

Крутецкий доклад, хорошо и быстро прошёлся по технологиям, удобно выбирать Я бы ещё Cassandra добавил, ну и немножко Camel, хоть это и несколько другого плана вещь, но тоже для обмена данными

[@Rclass]

Спасибо, мы старались :)

[@user-ei1by3ye6o]

12:27 - как связаны Partition и очередь? Это одно и то же или нет? Один Partition = 1 COnsumer. А что с очередями? 1 Queue = 1 Consumer????

[@user-so6rz7bz1m]

на сколько я понимаю в кафеке оффсет не у партиции, а у партиции и консъюмер группы, а консъюмер групп может быть несколько, и они могут параллельно по разному читать партиции, внутри консъюмер группы да, партиций должно хватать на каждого консъюмера в консъюмер группе

[@user-ei1by3ye6o]

03:00 - Что значит "RabbitMQ сам дёргает получателя?" Получатель не как в redis, в желаемый им момент НЕ может обратиться к сервису и по ключу и данные получить? Надо держать его в режиме слушания постоянно? А если слушатель занят? RabbitMq дождётся, когда тот освободится и снова пошлёт?

[@Rclass]

Да, слушатель поднимается и работает рядом с producer. Да, если слушатель один и он занят - то сообщения обработаются по очереди, одно за другим)

[@advanceduser3713]

в MongoDB есть aggregation framework, и аналог join можно сделать, в монго это называется Lookup

[@Rclass]

Да, действительно. Правда стоит помнить что с распределенными БД этот вариант не работает :)

[@maksimsergeevich5939]

Господа, а подскажите, большие ли будут накладные расходы если использовать redis, rabbit или kafka для общения между различными частями монолит приложения? Например если я хочу внутри приложения сделать сервисы которые должны взаимодействовать друг с другом только посредством чтения и генерации событий через шину сообщений.

[@Rclass]

Накладных расходов особо не будет - вопрос лишь целесообразности. Если вам это действительно нужно - используйте на здоровье. А монолит там у вас или мэш из микросервисов - не так уж важно)

[@maksimsergeevich5939]

@@Rclass ну если мне нужен брокер сообщений хороший, неужели самому писать

[@Rclass]

@@maksimsergeevich5939 тогда используйте конечно)

[@dimakovalenkov7835]

[@Rclass]

Ай спасибо, добрый человек :)

[@fadeivarlam6139]

JSON = Головастик, ибо: J=Жаба , SON=сын, а сын жабы = головастик. ЧТД

[@Rclass]

Интересное мнение, запомним)

[@fsdf443fdfe]

Подскажите - как при использовании Редиса для Кеша использовать горизонтальное масштабирования - если можешь пойти на сервер где нет твоих данных сессий?

[@Rclass]

Не очень понятно как связаны кеш и сессии?

[@fsdf443fdfe]

@@Rclass извиняюсь, вопрос про сессии только

[@joelsilver2030]

kurz und sehr klar

[@Rclass]

vielen dank

[@waffleboot]

6:13 Funout ??? Maybe "fanout" ?

[@Rclass]

:facepalm: fanout естессно)

[@TheRedbeardster]

А кофе у вас на полке растворимый или зерновой?

[@Rclass]

Откроем страшный секрет: там не кофе :) А кофе у нас в целом зерновой и очень неплохой, приходите при случае, мы вас угостим :)

[@esca7a]

крутой мужик тоже буду крутым мужиком, но не пузатым))

[@Rclass]

Выводы сделаны, наш техлид уже три года как ходит в спортзал и скоро обещает выполнить КМС по жиму лёжа)

[@esca7a]

@@Rclass ну такой дядя обязан кмс по жиму лежа быть)

[@asyahaila]

Забавное совпадение когда лектор исчез рассказывая про TTL для memcached

[@Rclass]

Магия, не иначе :)

[@Vic7bd]

Столько всего придумано, что вроде не чего не надо, но продолжают и продолжают что то изобретать :-)

[@Rclass]

Что-то устаревает, что-то становится более востребованным... Не стоит на месте отрасль)

[@VaGroz]

Может всё-таки 1 партишн = 1 консьюмер группа? У нас вроде овер 50 консьюмеров читают из топиков с партиционированием 3

[@Rclass]

Да-да, всё так, поправили уже раньше :) Спасибо что смотрите :)

[@olsuhvlad]

1 В начале было Слово, и Слово было у Бога, и Слово было Бог. 2 Оно было в начале у Бога. 3 Все чрез Него начало быть, и без Него ничто не начало быть, что начало быть. 4 В Нем была жизнь, и жизнь была свет человеков. 5 И свет во тьме светит, и тьма не объяла его. (Иоан.1:1-5) 9 Был Свет истинный, Который просвещает всякого человека, приходящего в мир. 10 В мире был, и мир чрез Него начал быть, и мир Его не познал. 11 Пришел к своим, и свои Его не приняли. 12 А тем, которые приняли Его, верующим во имя Его, дал власть быть чадами Божиими, 13 которые ни от крови, ни от хотения плоти, ни от хотения мужа, но от Бога родились. 14 И Слово стало плотию, и обитало с нами, полное благодати и истины; и мы видели славу Его, славу, как Единородного от Отца. (Иоан.1:9-14)

[@Rclass]

Мы не очень поняли к какой из технологий это можно отнести...

[@MihailSednev]

Для новичков может и ок но проблем потом будет дофига. Если есть знания по алгоритмам и опыт программирования от года лучше почитать Designing Data Intensive Applications ибо презентация далека от реальности. Может предираюсь)

[@Rclass]

День добрый! Не совсем понятно к какой части доклада относится ваш комментарий. Основная задача была просто кратко-кратко рассказать о том или ином инструменте. По поводу корректной работы с ними можно отдельные курсы составлять)

[@user-nc1pn4ii2n]

Что за фокус с исчезнлвением произошел на 21.10-21.16 ?

[@Rclass]

Это неназванная технология)

[@user-nc1pn4ii2n]

@@Rclass а на кого вы учите свою группу ? Админис раторы базы данных ?

[@user-gl7gg8gz2g]

По пацански)

[@OkulovAnton]

Именно)

[@OkulovAnton]

Можно попробовать сделать пару таких обзоров) Можете ещё посмотреть видео про нормализацию БД, там есть такой персонаж как Гена)

[@user-gl7gg8gz2g]

@@OkulovAnton Как только дойду до оптимизации БД, сразу же посмотрю)

[@StADKz9BsYkbb72]

Биндинг обменников и очередей в RabbitMQ - это не всегда строка как заявлено. Есть еще тип обменника Consistent-Hash, который вообще не рассмотрен, у него как раз биндинг - число.

[@Rclass]

Учтем, обычно работали со строками)

[@A_Lexxxxx]

20:44 - докладчик исчез, надеюсь, он закешировался.

[@Rclass]

Ахаха) Лучшая шутка про исчезновение, жаль два закрепа нельзя) Спасибо что смотрите)

[@Levelord92]

20:40 Антон, если так по фану использовать кольцо, Назгулы на тебя выйдут быстрее

[@Rclass]

Ужас! Я буду осторожен! Только никому!

[@radikovichkz2470]

Как брокер сообщений , очереди на redis сделать?

[@Rclass]

Добрый день! Подключаете редис и используете)