Современная Backend Архитектура. Масштабируемые и высоконагруженные приложения

Бэкенд - это не только API. Это еще и множество сервисов и приложений, помогающих делать крутые высоконагруженные приложения. Посмотрим современный стек, использующийся в коммерческой разработке.
Освой backend разработку на Python с НУЛЯ до выхода в продакшн за 3 месяца: clck.ru/37e8bs (есть 3 бесплатных урока)
🚨 Продажи открыты только до 31 мая 2024 года! 🚨
Прочитать отзывы к курсу можно на Stepik: clck.ru/38ZdhZ
Пишу про лайфхаки при поиске работы, рынок труда и способы развития разработчиков в TG канале - подписывайся: t.me/artemshumeiko
Python-сообщество в телеграме: t.me/python_community_rus
0:00 - Фронтенд и API
1:42 - Как прокачаться в бэкенд-разработке?
3:11 - Усложняем архитектуру
11:20 - Масштабирование приложения
Поддержать канал:
Boosty: boosty.to/artemshumeiko
#архитектура #backend #программирование

[@artemshumeiko]

Освой backend разработку на Python с НУЛЯ до выхода в продакшн за 3 месяца: clck.ru/37e8bs (есть 3 бесплатных урока) *🚨 Продажи открыты только до 31 мая 2024 года! 🚨* Прочитать отзывы к курсу можно на Stepik: clck.ru/38ZdhZ Все вопросы по Backend архитектуре задавайте в Python сообществе: t.me/python_community_rus

[@alexandrstrekalovskiy4083]

Ептить, да ты святой человек! Спасибо огромное!

[@alexdaniel76]

Огромное человеческое спасибо за информацию!

[@jin4644]

Спасибо за видео, а как мониторить ошибки 500 например? Точнее как видеть трейсбэк того что вызвало 500?

[@PrettyStreet-xx9if]

Как же кайфово, когда смотришь подобное видео и понимаешь, что ты не узнал ничего нового из видео. В такие моменты ты понимаешь, что ты не в пустую тратил годы на изучения архитектуры Backend приложения и у тебя есть знания этой области

[@halidibnmuhammad2160]

Как же фигово, когда смотришь подобное видео и понимаешь, что ты не узнал ничего нового из видео. Потому что ничего не понял😂😂

[@Ca1vema]

А что ты из этого видео узнал? Что есть приложение, которое общается с базами данных, а файлы хранит в облачных хранилищах? Ну да, на это нужны годы

[@user-gb3el1kh3g]

Чел, сколько ты зарабатываешь сейчас? Зная вот это всё реально устроиться джуном с зп 80+?

[@katetometr]

@@user-gb3el1kh3g С каких это пор джуну платят 80+?

[@idiatulla]

​@@user-gb3el1kh3g когда я был джуном - я работал бесплатно, пока команда не решила, что мне пора начинать платить. Рекомендую. Голодный желудок очень мотивирует быстро развиваться.

[@iit7908]

Артем, очень доступно и понятно объяснил. Спасибо!

[@Mifuragon]

Было бы круто сделать в продолжении этого материала видео про микросервисную архитектуру :)

[@BishopLong49]

Прекрасно разобранный материал и грамотно подобранные слова. Артём благодарю за такой полезный видео-материал! (Аслан, 20 лет)

[@bugagashenka3680]

Вау, я в восторге. Появилось желание прочитать "Высоконагрженные приложения"

[@mr.sapiens1335]

Очень вовремя попался такой видос. Спасибо за удобную подачу информации!

[@user-ul3kr9ng5k]

Расскажу со своей позиции в деревне. Ситуация, когда надо выкопать яму для сбора мусора. Мы для этого пол дня устанавливаем лазерный уровень, день доставляем экскаватор, задействуем 10 человек, чтобы все это сделать. И через 3-4 дня будет результат. Когда в с другой стороны, можно просто взять лопату, 30 минут помахать ею и будет готово. Проблема, двух подходов в том, что первый сложный, но правильный, а второй быстрый, но кустарный. Но и у первого подхода есть проблема. Если вдруг команда уйдет и все бросит, то будет сложно разобраться во всем этом обилии технологий и сложно интегрировать человека в задачу. Во втором подходе, все просто есть лопата и нужно копать =)))) Для полноты можно еще добавить сюда кубернетис, firebase скрипты на lua и будет вообще замечательно =) Команду для поддержки всего этого зоопарка вы не найдете никогда =)

[@andd3dfx]

Интенсивная подача материала, без воды, спасибо!

[@user-ok6cc6kf3w]

Все по полочкам, и понятно! Была бы ещё точно такое же видео с разбором фронта) Лайк подписка

[@renaldos1779]

Очень информативное видео, без воды и болтовни. Спасибо Артем

[@alexandrstrekalovskiy4083]

Годнота то какая, спасибо огромное! Понял, что хочу в бэк, как раз стою перед выбором что разбирать, и тут такое шикарное видео. Спасибо!

[@victoriakarimova3959]

Крутая подача, спасибо за видео 👏

[@user-gb3el1kh3g]

Прекрасное видео! всё по полочкам, без воды!

[@lovikuanyshev]

Артем, спасибо! Отлично разобрал архитектуру, все понятно и доступно)

[@user-xh1gf8nu8i]

Спасибо, теска. Очень, очень крутой видос. Прям по полочком все разложил!!!

[@yarko6734]

Спасибо за подробный экскурс. Я задолбался по частям собирать, то что вы сказали! У вас структура супер понятная!

[@AndrewYurchenko]

И только на 11 минуте, Артем правильно сказал : "вот этот инструментарий закрывает огромное количество потребностей для backend разработчика. Вот это и есть оно - "Инструментарий". А вот когда видишь слова в описании "архитектура" и подобное - тут как бы сбивает немного. Для поверхностного понимания как работают и взаимодействуют современные приложения думаю видео подойдет. По аналогии: машина состоит из: "колес - чтобы они сцепляли с землей, руля - чтоб иметь возможность управлять движением колес, дверей - чтоб в машину можно было удобно попасть" и т.д и т.п... Про архитектуру было бы полезной нагрузкой обсуждение "clean architecture", "Onion" или "pattern repository" как пример. Затронуть тот же заезженный SOLID. Это думаю уже будет нести более полезную нагрузку для тех, кто интересуется именно разработкой. И построением архитектуры приложения.

[@user-iq2st2el2d]

добро пожаловать в ITIL, там узнаете гораздо больше

[@user-tm2zo3yk9i]

Больше бы такие ролики об архитектуре, строений в программировании👍

[@Ronobiliv]

спасибо за видеоматериал. Мне как НТшнику тут ничего нового не было (была надежда, что тему оркестрации раскроют), но хочу отметить, что сама подача очень доступная и приятная

[@mailvoodoo]

Спасибо! Комментарий в поддержку выдачи ролика Ютубом. Коротко, очень информативно, классная подача. Про архитектуру с удовольствием глянул бы еще выпуски если будут.

[@artemshumeiko]

спасибо вам)

[@sergeypavlov8883]

Так круто и понятно объяснена архитектура веб-приложений 😀Смотрел видео у Ulbi, но, как вы объяснили мне больше понравилось. Спасибо за мматериал :)

[@IlyaHoltz]

Hey Man! Just Purchased your course thanks to this video. Thank you!

[@IvanKuzmin]

Очень простенько, но лаконично и доходчиво. Возможно многим поможет понять самые простые концепции. В жизни все гораздо гораздо сложнее

[@nikitamusyl9520]

Спасибо, видео топ! Оч просто и структурировано, даёт полную картину от которой можно плясать дальше, думаю многим поможет) ждём видео по микросервисам! Если его ещё нет на канале)

[@liroluka]

Спасибо огромное, я совсем зеленый джун, но все поняла, максимально понятно и просто описано и визуализировано!

[@belyaev_maks]

Спасибо за великолепный контент! Просветился про современный бэкенд на отлично :)

[@muhammadumarsotvoldiev9555]

Спасибо за вашу работу!!!

[@kkkasschenko]

Спасибо огромное за это видео, приятная подача информации, очень интересно было слушать

[@igorratnik2357]

Подписался. Очень все четко и без лишней воды!

[@makssssss]

Поставил лайк и подписался. Очень хочу увидеть еще видео по backend архитектуре !!!

[@step6753]

Хорошее качество, полезные знания.

[@MsDimons123]

Ждем такое же видео по фронту, спасибо

[@aleksandrrachko636]

Хорошее описание архитектуры, классно рассказал, хочется сказать спасибо! :) Из своего опыта хочу добавить про облачные сервисы типа AWS или Yandex Cloud, которые могут закрывать большую часть показанного просто "из коробки", таким образом, начинающему backend разработчику не нужно думать обо всем этом (как минимум на старте). Так же, облачные провайдеры, как правило, имеют свои сервисы, отвечающие за очереди сообщений, логирование, БД и так далее. Не говоря уже про бессерверные функции. Используя бессерверную архитектуру можно развернуть довольно масштабное приложение абсолютно бесплатно используя бесплатные лимиты. Это современные тренд, который должен позволить начинающим разработчикам воплощать свои идеи думая об идее и проекте, а не о том, как это развернуть и какие сервисы использовать для той или иной задачи. Хотя, по факту, наверняка у клауд провайдеров под капотом все работает примерно так, как описано в видео, просто это все доступно по нажатию пары кнопок. Еще раз спасибо за такие видео и курсы, я сам учился по онлайн курсам на youtube, это дает больше возможностей для обучения! :)

[@user-sq4ym3pc2s]

Очень классное видео, прям очень полезно! Спасибо!

[@damirmarsov9446]

Отлично подано, спасибо большое ++

[@gapchannelAi]

Ролик очень интересный , спасибо вам большое

[@sashikk]

Очень понятно. Даже не подозревал, что все так устроено

[@AntonReut]

Артёмка, ты зачем сюда эту толпу ботов запустил? Думаешь они тебе накрутят поведенческих факторов? )))

[@Ipurple_squirrel]

Не понимаю почему некоторые пишут что непонятно ничего. Все понятно и более того полезно. Сейчас пишу дипломный проект и это видео для меня находка. Спасибо большое.😊

[@user-yw9wx4lv2w]

может потому что у каждого свой текущий уровень знаний и свой уровень понимания?)

[@exemplles]

Классный видос, хотелось бы ещё про System Design услышать :)

[@wordpreslabs]

От души! Теперь я понимаю каков он, путь в флустаку)

[@smbtme]

Очень круто сделано, самое главное - это систематизация знаний, что здесь всё видео и происходит) продолжай в том же духе, только звук чуть погромче можно)

[@smbtme]

также было бы круто визуализировать цели в начале видео, и подвести итоги в конце) и подсветить визуально где у нас "маленькое" приложение, "среднее" и "большое")

[@_ViTsK]

1:23 - Не первый раз встречаю сравнение nodejs с фреймворками других языков. Разве не логичнее приводить в пример: nestjs, express, fastify? nodejs - это среда выполнения javascript. В браузерах ведь тоже есть среда выполнения js на движке V8 с Event Loop. Но никто не сравнивает Chrome с фронтенд фреймворками) Это как один из блогеров сравнил TCP и HTTP. Тут тоже самое. Не надо так) P.S. не верю, что senior мог бы такое сказать)

[@99phenomenon]

Большущее спасибо! Тебе воздастся!

[@maksimyany5033]

Очень сильный видос, который даёт понимание как все устроено в мире бэкэнда. Спасибо!

[@alexandrkruglyak]

Автору респект! Ребят, пишу микросервисы на nodejs для junior, кто к теме - заходите в гости.

[@ramilelephant7826]

Такими темпами уже пора идти на архитектора, а не на бэкендера ! Годный видос)

[@alexandrkruglyak]

Автору респект! Ребят, пишу микросервисы на nodejs для junior, кто к теме - заходите в гости.

[@alexdaniel76]

Тут инфа не только для программиста, но для архитектора который отвечает за этот зоопарк приложений и работу их и выбор железа для них!

[@ITentrepreneur]

DevOps-инженера

[@semenivanoff8615]

Арх прежде всего отвечает на вопрос - Зачем. А уже потом тащит технологию в проект. А тут просто натащено чтобы картинка красивее и строчек в резюме с тегами побольше. Тот же эластик нафига? Для логов? Для поиска? Типа постгресс не умеет полнотекстовый поиск? Редис зачем? Кароч тут много вопросов. Прежде чем мини ио пхать в проект, надо прочитать его лицензионное соглашение и посмотеть по сторонам, потому что есть попроще и получше обьектные хранилища. Кароч, это набор клише какой-то показан.

[@user-ul4uv6xi7e]

@@semenivanoff8615 Постгрес умеет полнотекстовый поиск, но не заточен под это, в отличие от Elastic. Да и зачем вообще нагружать основную БД этим?! Он же все описывает на примере поисковика, а не сайта визитки, в котором разумеется все это будет лишними. Minio для обучения самое то, зачем сразу переходить в облака и что то покупать для обучения?! Вообще не понятный комментарий от Вас уважаемый, материал явно не для архитектора подготовлен, а для начинающего разработчика. Подготовлен очень грамотно, каждая деталь описана, объясняется на живом примере зачем она нужна и показано как вся система в целом связана.

[@denissavast]

Артем, самый лучший обзор на всю структуру ! Благодарю !

[@jaredude9707]

довольно интересно, и при этом познавательно. штош теперь ждём курс по flask и flask-restful в дополнение)

[@onlytryhard80]

Начинаю писать бэк на nodejs, очень помогло ваше видео, спасибо! Хотелось больше общих материалов по бэку

[@skinticket9284]

А ты в js разбираешься?

[@lukasmog777]

Хорошо рассказал и хорошая визуализация!Спасибо!

[@JoonCrafting]

Очень долго не понимал как можно оптимизировать бэкенд, это видео мне дало множество интересных сервисов, спасибо!

[@MayorKozin]

Для системного аналитика, который смотрит в архитектуру - видео очень полезное! Спасибо.

[@user-jt1xg1ez5m]

Согласен!

[@MartinXProject]

Очень круто рассказываешь, все визуально воспринимается, продолжай, лучший!

[@therealhramov]

NodeJS - это не фреймворк, а среда исполнения JS. Если нужен фреймворк для NodeJS, то это, например, Express или Fastify

[@victorm7551]

Тоже орнул) жаль, что цель видео продать свой курс, а не показать, как всё устроено :(

[@jaloliddinumariy2025]

Очень классный видос спасибо большое, попробую именно так создать back-end архитектуру

[@iliaastafev5029]

12:40 - а дьявол как всегда в деталях. Например давайте упомянем что для горизонтального масштабирования вся логика должна быть stateless. А если нет, то это уже не раунд робин. Следующей загнется база данных а ее репликация в кластере не мгновенная значит вместо или вместе с кластеризацией начинаем прикручивать шардирование. В этот момент вспоминаем про отказоустойчивость...

[@mletkin]

ты очень заметно поднялся на новый уровень) поздравляю! спасибо тебе за твой контент =)

[@Ajdjfrtuf3]

За финальную картинку спасибо большое. Технологии все известные и проверенные временем. Но в Майкрософт Azure, мне кажется удобнее за счёт Azure API Management и более продуманной безопасности.

[@alkhasovstudio]

Под таким видео жаль, что можно только один лайк поставить. Нет ни капли лишней инфы, все нужное. Спасибо за информацию 👍👍👍

[@brushupyourenglish3455]

keep doing what you are doing! Отличный материал, спасибо !

[@kuaranir2440]

Очень крутое объяснение без воды))

[@user-si6iz9fj1f]

Хорошее видео, спасибо!

[@-MaCkRage-]

Еще забыл про логирование ошибок. Тот же sentry справляется с этим на ура. При этом подключить можно к нему все что угодно. От плюсов до джава скрипта. И будет тебе хорошо с огромным трейслогом.

[@scatchindahouse]

Не ну тут лайк, мне как джаваскриптизеру идущему в фулстек все предельно понятно что учить дальше , обнял )

[@kir7765]

Сочетание качественного контента, приятной дикции и ещё, я уверен щепотки магии делают твои ролики просто невероятными. Спасибо

[@user-gh4zy8gu6q]

Спасибо большое за видео!

[@GLUCKKKKKKKKKK]

Очень годная инфа. Спасибо за контент)

[@user-kl7vl8eu1w]

Круто, хотелось бы услышать от тебя что-то типа архитектуры serverless, например, взять провайдера AWS и посмотреть как будет на нем это будет устроено

[@herbst2941]

Крутой контент, благодарю 👍

[@MrOverGod]

Ну наконец-то нашел адекватное объяснение архитектуры!!! Уже задолбали сотни видосов с объяснением на примере разноцветных кружочков и другим детским садом. Большое спасибо!

[@lgotindev6712]

В целом не много новой информации лично для меня, но структурировать всё это и проговорить лишним не бывает, чтобы навести порядок в голове. Автор, спасибо за контент!

[@artemshumeiko]

Спасибо за ваш комментарий! Рад, что видео принесло пользу

[@streak_vo1d118]

Для новичков, например, информация из видео - крайне полезная. Автору спасибо.

[@kuramorireika4135]

Полезно для начинающих. Но пропустил часть про API Gateway и надо было упомянуть про OpenTelemetry

[@arthur_websites]

Очень коротко и понятно.

[@KKZ_5000_RUB]

Все бы ничего, но это все актуально только для очень крупного проекта. И часто владельцы сайтиков с посещаемостью чуть больше 1000 посетителей перемудряют и начинают внедрять нечто подобное туда зачем-то.

[@Faybmi]

в школе думал что все это уж слишком много, сейчас учусь в универе и понимаю что на 2024 год это может быть даже меньше чем надо

[@dmitrybykov3533]

А не могли бы Вы нечто подобноее запилить и о фронтенд вещах? Я тружусь над своим небольшим стартапом и мне бы очень пригодилась подобная концентрированная и доступно изложенная информация! Ролик отличный!

[@siniyhleb2856]

Подскажите, пожалуйста, что определяет направление стрелок на схеме, так же когда они направлены в 2 стороны? Хочется быть уверенным в ответе

[@qa337]

Ничего нового не узнал. Не зря тратил годы своей жизни на самообразование. Новичкам привет 👋🏻 😊

[@infavi]

Спасибо вам за видео, невероятно полезно!)Вам нужно сделать свой микрофон погромче, звук очень тихий

[@pfcompany885]

Всегда знал что на бэке происходит "магия". Спасибо за видео!

[@vor6758]

Ещё используется обычно airflow для отправки данных с фронта с БД или кэш)

[@user-bv3lb1ui6d]

Годнота, спасибо!

[@user-lj1to7le9w]

Лучшее объяснение, что такое бекенд, которое я видел.

[@MegaAlexWar]

Отлично снято и преподнесено, спасибо! После получения высшего профильного образования, проработав около года в инженерной области перешел в бэкенд разработку. Устроился в стартап компанию 1.5 года назад с практически нулевыми знаниями, в тестовом задании надо было написать телеграмм бота, который бы делал бронь для конференций и имел какую-то стейт логику и хранение данных. Жутко наговнокодил, за два дня перекурил доки, пересмотрел видосики и что-то выдал. Время пролетело быстро с тех пор, успел и поразбираться в "легаси коде", который не трожь, а то сожрет, с очередями, с мл моделями, кешированием в редисе, метриками в графане и с парсерами, с монгой, постгрей, кубером, докером и портейнером, графаной и прометеем, написаны апихи тоже через систему репозиториев, которые, кстати увидел во второй раз уже на курсе Артема, когда пошел знакомиться со степик программой. Не добрался еще до фронта и elastic search с kibana + сторой обходил nginx. После просмотра этого видео, понимаю, что много с чем успел поработать, может и не на сильно глубоком уровне, а в голове все равно сидит синдром самозванца)))

[@iaval]

подскажите, пожалуйста, вот Вы написали, "после получения высшего профильного образования... устроился практически с нулевыми знаниями". Высшее образование совсем бесполезно оказалось в плане знаний, которые можно на практике применить?

[@MegaAlexWar]

@@iaval В моем направлении практически не было программирования. Упор на физику, электронику, схемотехнику и матан, принцип работы реакторов, асу тп и пр. Как раз если было бы направление другое, то было бы значительно проще мне кажется

[@iaval]

@@MegaAlexWar тогда ясно, спасибо, профильное это значит инженерное, а я подумала, что по программированию. Спасибо за пояснения.

[@MegaAlexWar]

@@iaval Пожалуйста, если идти в вуз с упором на программирование, то это тоже не гарант, сами понимаете. Все сводится к вопросу намерений. Институт же как катализатор, если есть желание, то будет более плавное погружение и быстрый рост (если только совсем к неправильным людям не попасть). Если намерений и желания нет, то не поможет ничего. С другой стороны, если есть желание, то и отсутствие института не помеха сама по себе, сложнее тем, кто без дисциплины обучается, тогда займут года и результат не ясен. Поэтому мне кажется, что самоучек ценят больше, чем выпускников в среднем

[@iaval]

@@MegaAlexWar в вакансиях за пределами РФ намного чаще встречается требование диплома. Но непонятно, насколько это требование критичное и стоит ли только ради этого тратить время на вуз, или проще уже то же время потратить на стажировки / работу и иметь коммерческий опыт. Пока склоняюсь ко второму варианту. Вышка есть, но совсем в другой сфере. Курсы дают какую-то базу, но я думаю, что вуз будет не сильно лучше курсов, возможно даже более оторван от востребованных на рынке навыков.

[@air47]

Очень полезно, спасибо, благодаря видео узнал про Metrics. Самое время идти внедрять сбор метрик в свое приложение)

[@artemshumeiko]

Рад, что помог! Успехов вам

[@zaretskiykirill]

Спасибо большое за видео ! Очень хороший разбор для человека далекого от разработки. Просьба записать такое же про API рассказать для «тупых» что это и как использовать на разных проектах ) спасибо !)

[@aspush]

Тема масштабирования не раскрыта. Решение "поднять много API через кубернетес" разумно только, если бутылочным горлышком производительности является API, но, мягко говоря, не всегда веб-приложения большую часть своих вычислений делают в слое АПИ. Скорее, более частый это 90% вычислений API это запросы к СУБД. То есть большая часть времени работы приложения, это работа базы данных. И общий подход к масштабированию - определить какой слой является бутылочным горлышком производительности и "расточить" его, перемещая бутылочное горлышко на зоны, которые можно масштабировать дублированием - заливая железом.

[@user-lv3qu5yc3g]

Артём, привет! Хотелось бы увидеть твоё исполнение ELK. Ты очень круто объясняешь и спасибо за твои видео. P. S. Лайкните коммент кому интересно, чтоб посмотреть на актуальность темы.

[@kohakovich]

Вселенная услышала мои мольбы о схеме бэк энда 🙏

[@netlive277]

Спасибо большое за такую полезную информацию и за полноценную обрисовки архитектуры

[@krestopravtv8192]

Лайк неглядя! Потом посмотрю.

[@user-xs3cl4xe7i]

Вау. Больше спасибо. Супер просто, понятно, без воды. Теперь знаю, куда развиваться дальше

[@vyachowski]

Оч круто объяснил

[@user-pv8dx4kb6n]

шикарное видео, спасибо большое

[@ultrashmit]

Хорошее видео. Продолжай в том же духе!

[@user-jt1xg1ez5m]

Полезный и хорошо оформленный материал! Спасибо причастным к его созданию! Я системный аналитик и мне видео помогло структурировать знания бэк архитектуры. В закладки, чтоб не потерять!)

[@user-gw4yd3rt8e]

Очень понравилось видео

[@fenderbender2096]

Детки, хотите сделать работающее приложение, начинайте с монолита. KISS принцип.

[@user-gf7fr8qw2e]

Современная Backend Архитектура. Масштабируемые и высоконагруженные приложения

[@cor4win]

Спасибо, поддержу лайком и комментом)