Многопроцессность, многопоточность, асинхронность в Python и не только. Что это и как работает?

Мой курс «Хардкорная веб-разработка» - course.to.digital
Книжный клуб Ботаним!, где мы читаем хорошие ИТ-книги: botanim.to.digital/
Telegram: t0digital.t.me
Сказать спасибо за это видео можно здесь - boosty.to/digitalize.team
Сегодняшний выпуск - о том, как заставить наше приложение летать! Поговорим о процессорах, о том, как они работают, о многоядерных CPU и Hyper-Threading, о процессах, потоках и многопоточности, а также об асинхронности или кооперативной многозадачности. Будет насыщенно!
0:00 О чём пойдёт речь
0:30 О многозадачности на единственном ядре CPU
1:42 О тактовой частоте процессоров и многоядерных CPU
3:07 Потоки, они же Threads
4:26 Состояние гонки, оно же race condition
5:20 Hyper-Threading и гипер-потоки
7:56 Потоки на многоядерных CPU
8:24 GIL в Python
9:16 Как обслужить тысячу HTTP запросов?
10:09 Асинхронность, кооперативная многозадачность
14:20 Как работает асинхронность
15:31 Выводы
/****************** about ******************/
Меня зовут Алексей Голобурдин, я программирую с 2004 года и на этом канале делюсь своим опытом. Я основатель и руководитель компаний:
- Диджитализируй digitalize.team, разрабатываем сложные IT системы для бизнеса;
- Salesbeat salesbeat.pro, комплексный модуль доставки для интернет магазинов.
Если у вас есть проект на разработку, пишите нам на [e-mail].
С другими предложениями, а также если вам нужна одна или несколько индивидуальных консультаций/уроков по разработке (3000 руб/час), пишите мне на [e-mail].
Telegram канал - t.me/t0digital
ВК - digitalize.team
RuTube - rutube.ru/channel/24802975/ab...
Дзен - dzen.ru/id/6235d32cb64df01e6e...

[@t0digital]

Мой курс «Хардкорная веб-разработка» - course.to.digital Вжух!

[@79fz270704]

Тема интересная, ждем продолжения.

[@Emagnarium]

Спасибо за ликбез по мультипоточности ядер) "Немножко" дополню/скорректирую в режиме зануды: 1:00 Процесс и поток на процессоре может быть один, когда нет ОС. Это кучу МК (микроконтроллеров) и им подобных процов. Даже на х86 можно запустить монопроцесс и, обычно, вы его пускаете. BIOS Based I/O system не редко однопоточна+однопроцессна (но может мои данные устарели) 1:20 я бы прям в начале уточнил разницу между "работает" и "выполняется" ("исполняется"). Состояния ожидания тоже работа (это вам не зомби) и одновременно реально работать без переключений могут сотни процессов, а вот с выполнением да, только один в один фрейм исполнения. Хотя кому-то наоборот "программа исполняется" это существование процесса, а "программа работает" это греет воздух, трасформируя данные 3:20 строго говоря у программы может быть и 0 (ноль) потоков/процессов. Пример -- скрипты, которые не оперируют потоками/процессами, а исполняются родительским интерпретатором. 3:40 программа != процесс, 4:00 потоки так-то бывают разные и на сколько я знаю у потоков могут быть свои адресные пространства, но не уверен. Надо изучить что в каких ОС 4:36 гонки потоков можно, как избегать рядом подходов в мультипоточном прог-ии, так и исключать, так что проблема не совсем понятно, зачем сюда внесена, но при этом даже о законе Абеля ни слова( Часть про простаивающие ядра оставляю на совести автора, там у меня нет знаний, за тем и смотрел =) 12:43 асинхронность, а точнее асихронное программирование либо асихронное выполнение это *один из* способов решить проблему, как достичь большой отдачи на малом числе ядер/потоков. В принципе можно и 10к дескрипторов потоков создать и нихай ОС сама их рулит, если поток умеет переходить в ожидание, то даже разрулит) 14:10 высокоэффективные ли? Если замерять RPS, то с высокой верятностью при идентичной задаче JS можно отточить не лучше питона, тот не лучше явы (иногда питон быстрее даже правильно "сваренной" явы), а эти ребята всё равно уступят Go/RUST/C++/Fortran (я счас о пределе, который можно выжать, а не о качестве библиотек, которые делают разрыв обычно ещё сильнее) Эффективно на тех же JS/Python писать ёмкий код (мало строк, много логики и смысла), но тут ни JIT, ни процессоры, ни ОС ни при чём 14:50 это упрощение сродни Пи = 3, простите. EL исполняет задачи из очереди на исполнение по мере завершения исполнения текущих задач (в частности для JS это по одной задаче), а задачи, завершаемые не выходом, а переходом в ожидание, по мере удовлетворения ожидания, перекладывает в очередь ожидания и взятием из очереди на исполнение следующей задачи На этом всё, надеюсь уточнения кто-то дочитает, а не в в воздух это...

[@danilakim5126]

Немного сложновато, хотелось бы увидеть это ПРЯМ НА РЕАЛЬНОМ ПРИМЕРЕ! Прям наглядно увидеть многопоточность, сам ПОТОК/ПРОЦЕСС. Вот есть компьютер, и что мне делать чтобы увидеть этот поток, процесс?! Запустить программу что-ли? (Понятное дело что и сама ос что-то да выполняет, но как увидеть ожидание процесса, как увидеть что работает многопоточность НА РЕАЛЬНОМ ПРИМЕРЕ?!) МОЖЕТ МОЖНО ПРОГРАММУ НАПИСАТЬ И НАГЛЯДНО УВИДЕТЬ?!? Подскажите пожалуйста, буду благодарен!

[@Emagnarium]

​@@danilakim5126 простейший варик: запускаете live-образ линукс-based (проще говоря убунты), ставите там htop, запускаете его. Там можно наглядно увидеть нити (posix-based threads, по-нашему потоки) и их родительские процессы. Можно изучить и препарировать их, если будет желание. Ещё вариант тот же Process Explorer вместо классического Task Manager виндового способен показать потоки виндовых процессов (не моя специфика, не знаю на сколько глубоко там можно копать) А так, на хабре том же найти реально)

[@captainkryuk1899]

Братан ты бы вышел на улицу воздухом подышал, пивка попил

[@RuchejAlex]

Сделаю паузу и скажу. Когда увлекался своим ZX-Spectrum-ом, изучал ассемблер. Благодаря этому, не плохо понимаю тему прерываний, т.к. там это было оооочень хорошо видно. Изначально, на zx работает только одна прога. По учебнику, делал на машинных кодах часы, которые работали в фоне в системе. Для это создаётся прерывание, у которого есть свой номер, как сейчас сказали бы, свой ID. Когда сделал эти часы, которые висят и не пропадают, был в восторге)

[@quasar-lv6pp]

А по какому учебнику учился? Интересно, т.к. сам на спектруме ассемблер познавал в 90-х

[@vryaboshapko]

У меня было наоборот: понимание устройства event loop помогло разобраться с прерываниями на ардуино)))

[@Enerdzizer]

Господа,а можно поподробнее про прерывания? Прерывание разве можно создавать? Прерывания в zx spectrum это аналог программы или это всё таки ближе к callback функции?

[@RuchejAlex]

@@Enerdzizer в спектруме, прерывание задаётся в каком-то регистре и вроде указывается адрес перехода. Уже не помню

[@MrVindor]

Спасибо за видео! Важная тема, давно жду ее)

[@toomanof]

Продолжай в тоже духе! Хороших лекторов не так уж много!

[@t0digital]

Спасибо!

[@zavserj]

kzbin.infoHpwZpcfOxto?feature=share

[@SueBeatMaker]

@@t0digital Поддерживаю

[@mrMarseleene]

Как же приятно тебя слушать! Спасибо и удачи в развитии!

[@user-ik1in6zt4y]

Благодарю за ваш труд!

[@myroslavzadoian4549]

Ждём следующее видео! Тема очень интересная, интересно услышать твои мысли!

[@t0digital]

Спасибо!

[@MS-fu3zf]

Здорово. Отличный ввод в многопоточность и асинхронность. Спасибо.

[@t0digital]

Рад, что полезно!

[@user-vk9kt7pg5f]

Комментарий ради большего раскрытия асинхронности

[@t0digital]

Спасибо :)!

[@user-ek3gb9sf6y]

Спасибо за подробное и понятное описание!

[@user-sp2uu8xy8z]

Отличное видео. Спасибо!

[@user-js8ig2en8e]

Алексей! Спасибо за ваши видео! Почаще бы.

[@FILA2209]

Круто! Все очень доступно и понятно изложено! Спасибо!

[@vladimirkirdan]

Ты очень круто всё объясняешь! Очень нравится структура твоих видео! Нет никакой воды из разряда «что бы установить пакет, используйте пип инсталл…» но в тоже время нет «эээ ну тут просто переписываете ядро». Всё очень понятно, доступная информация

[@ITPROSTA]

Наверное самое лучшее видео по этой теме на ютубе! Все четко и понятно!

[@t0digital]

Спасибооо!

[@Konushbai]

Спасибо! Ждем больше примеров на практике

[@HeyArtem]

Спасибо за информацию. Легко и интересно слушать. То что искал!

[@sergekozlov9876]

Спасибо большое, ждём продолжения

[@t0digital]

спасибо, скоро продолжение, на бусти уже кое-что есть:)

[@mgm_smile]

Отличное видео! Жду продолжения =)

[@t0digital]

Скоро будет:)

[@user-yr7qn1dt5t]

Спасибо за ваш контент!

[@777777Philipp]

Супер! Очень интересно и доходчиво

[@RaZeR22L]

Спасибо за видео!

[@FillerWorld]

Всё предельно ясно и по полочкам, спасибо большое!

[@t0digital]

Рад, что полезно! Спасибо!

[@user-it3lh7zg4n]

спасибо большое за простое но в то же время содержательное видео!

[@ZHeKKa]

Спасибо за разъяснение такой интересной, непростой, но важной темы.

[@DP_AS]

Спасибо! Вы отлично объясняете! Ценный материал!

[@frx1692]

Спасибо большое за ваши поучительные материалы

[@user-dc9jh3hq9d]

Отлично! Благодарю!

[@Python2061]

Без лишней воды. Спасибо огромное за такие ценные рассуждения.

[@webxcryptoit7308]

Все очень круто, отличный формат и подача! Спасибо, большое!

[@t0digital]

Спасибооо!

[@constkk3153]

Спасибо за интересное видео!

[@psychicks3463]

Очень интересно рассказываете)

[@tonyp4826]

Супер! Как раз по чуть чуть нахватал и так удачно залетел на это видео! Спокойно четко понятно. Спасибо.

[@radiksaiakhfarov4794]

Ждём продолжения!)

[@t0digital]

Спасибо! Скоро будет продолжение

[@user-vo6tn6vu1h]

Без лишней воды. Спасибо огромное за инфо.

[@jorupbek]

Спасибо огромное за Ваши труды. Очень интересно и понятно)

[@t0digital]

Спасибооо!

[@user-uk4zv3hb2u]

Спасибо за понятное изложение темы

[@daniilpopkov4176]

Благодарю, Вас, за труд!

[@yaroslavnovichkov6736]

Большое спасибо за ролик!

[@Dastan1910]

Спасибо большое, теперь наконец-то стало понятно! )

[@vasiliydrogovozov4285]

Круто, спасибо большое!)))

[@user-bi9sd6ly8h]

Спасибо за классное изложение материала!

[@SemyonKalyakulin]

Спасибо! Очень доходчивое объяснение)

[@TheRussificator]

Алексей, всегда приятно тебя слушать.

[@t0digital]

Спасибо!

[@vladyslavstetsenko2655]

Ждём продолжения!

[@t0digital]

Скоро будет:)

[@alexandershurakoff9506]

Клевое видео для погружения в тему!

[@Deiffify]

Отличное видео! Очень понятно и четко! Благодарю

[@egoruzh]

Интересные все видео. Спасибо. Много полезного, без понтов, доступно и профессионально.

[@t0digital]

Спасибо! Рад, что полезно

[@VictorPriyma]

Благодарю за то, что вы делаете!!!!

[@t0digital]

Спасибо! Будем продолжать

[@Pumba053]

Спасибо за хороший материал, очень доступно для начинающих!

[@zeman8748]

Спасибо, реально помог разобраться)

[@alexanderthegreat489]

Спасибо за видео! Очень интересно и хочется побольше примеров и практики))

[@t0digital]

Да, в следующих видео будут примеры и практика

[@kostya8877]

Просто лучшее объяснение из всех, что я смотрел, все четко и структурированно. Спасибо огромное!

[@dmitrikamenev7677]

Огромное спасибо!!!

[@user-yp8mw9yv1k]

Очень доходчиво!

[@user-rc4kq3eb7r]

Спасибо. Круто объясняешь!

[@dmytroznak8843]

Каждый раз слушаю с большим интересом) спасибо)

[@t0digital]

Спасибооо!

[@lavrlad]

Полугодовой предмет ВУЗа в 16 минутах, понятным языком. Вот что значит Питонист вещает)

[@romanwednesday4401]

Ну это всего лишь вводный материал, хотя и достаточно качественный. В ВУЗ-ах часто смотрят более углубленно в проблемы и применения многопоточности, асинхронности(Если это нормальный ВУЗ с хорошим преподавательским составом). Не стоит полностью обесценивать знания которые дает учебное заведение, если оно хорошее(а студент нет). Обидно, если за пол года в учебном заведении тебе действительно рассказали только эти вещи. Такие вузы я называю шарагами

[@zavserj]

kzbin.infoHpwZpcfOxto?feature=share

[@SyperMonster]

​@@romanwednesday4401шёл 2024, похоже остались одни шараги)

[@user-ib3ev5pl2t]

@@romanwednesday4401 вуз это полное гавно

[@tanks-blitz-shorts]

Спасибо огромное за это видео, все четко объяснил ))

[@mikhailpetrov1948]

Большое спасибо за доступное объяснение таких важных вещей!

[@t0digital]

Спасибо, рад, что понравилось!

[@user-cn5pd6do9n]

Интересно, ждём продолжения

[@t0digital]

Спасибо! Продолжение будет

[@bagasayn]

Супер, самая не скучная лекция :)

[@jamalzeynalov2196]

Очень полезное видео. Лайк

[@mvxmvl]

На одном дыхании посмотрел) Очень классно, продолжай)

[@t0digital]

Спасибо! На бусти уже есть продолжение, скоро появится и на канале

[@user-lz3ez3nn4j]

Отличный канал, благодарю

[@Zhekazhe1]

Понятно и познавательно. Спасибо за полезную информацию!

[@t0digital]

Рад, что полезно!

[@nemirovandrei]

Хорошо рассказал, спасибо!

[@t0digital]

Спасибо, рад, что понравилось!

[@vintets]

Классное видео. Ждём практики.

[@t0digital]

Немного практики есть в следующем видео на канале, оно уже есть. А разбираться будем в следующих :)

[@dmplet]

Большое спасибо за твою работу! Очень полезная информация.

[@t0digital]

Спасибо! Рад, что полезно!

[@makaronronron]

Очень круто! Выпускай почаще видео с ликбезом. Очень люблю за завтраком включить и послушать сжато полезную инфу.

[@understandwhat]

очень полезно, спасибо!

[@user-sl9rx1wz9p]

Спасибо, отличное видео, многое для себя понял)

[@andreybelyaev5703]

Спасибо.. Внятно, понятно и без воды.. Талант педагога налицо!

[@t0digital]

Спасибооо!

[@sevashpun]

Спасибо большое!

[@londonrokosovskiy3149]

Четкое видео, очень доступно объяснил, лайк и подписка

[@user-fu8jr9if5f]

Ждем продолжение

[@dimilian4719]

Спасибо за каждое видео, очень приятно слушать и смотреть! И темы всегда прям то, что надо!

[@zavserj]

kzbin.infoHpwZpcfOxto?feature=share

[@zavserj]

kzbin.infoHpwZpcfOxto?feature=share

[@andyanderson222]

Спасибо! Очень чёткое объяснение.

[@volfsonic]

Благодаря таким авторам, хочется изучать тему. Спасибо! Смотрим дальше

[@abduaziz.ilhomov]

очен важная тема, спасибо за видос

[@aelloro]

Спасибище! Оч полезно!

[@MrAlexMonk]

спасибо за труд! все понятно и доступно

[@t0digital]

Рад, что полезно! Спасибо!

[@devopsflow707]

четенько, спасибо!

[@irinalivra6789]

Очень доступно ^_^ спасибо!

[@t0digital]

Юхууу, спасибо! 🙏

[@mvo5450]

Когда набираю в поиске какую-то тему, и в ленте вижу твоë видео об этом - для меня это как явная подсветка - "Здесь точно будет качественное разъяснение." И так и получается.

[@t0digital]

Спасибооо!

[@sptica]

Отлично расказано, спасибо!

[@limonred5283]

Круто. То что доктор прописал!

[@user-so1rr2is7b]

Классно интересно оч жду следующего видео

[@user-sk3rc3cz2n]

Спасибо. Видео на одном дыхании посмотрел. Очень интересно. Жду продолжения. Когда будет инфа по курсам?

[@t0digital]

Спасибо! Инфа по курсам будет скоро:)!

[@user-hf8hb5du5j]

Не ожидал, от канал с таким количеством подписчиков, такого качества видео, продолжайте в том же духе!

[@t0digital]

Спасибо! Подписчики тоже понемногу растут, что приятно🙏

[@envy1616]

поразительно качественный контент! спасибо!

[@t0digital]

Спасибооо! Приятно:)

[@s1mplo755]

Классно рассказываешь, приятная атмосфера

[@t0digital]

Спасибо!

[@andykruch3108]

Спасибо! Очень доходчиво и полезно!

[@t0digital]

Рад, что полезно!

[@user-td1ql3rq3d]

Классная подача материала!

[@t0digital]

Спасибооо💪

[@avorion-ru]

Ну наконец то нашел нормальное объяснение, спасибо Вам огромное!!

[@viktorkrepak]

Очень толковое объяснение !

[@t0digital]

Спасибо!

[@user-zn8fe6pj6g]

Уважение за видео, было интересно))

[@t0digital]

Спасибо!

[@evrmk]

Лучший! Бооольше годного контента по Python 😱🤓