Многопроцессность, многопоточность, асинхронность в Python и не только. Что это и как работает?

[@t0digital]

Мой курс «Хардкорная веб-разработка» - course.to.digital Вжух!

[@Emagnarium]

Спасибо за ликбез по мультипоточности ядер) "Немножко" дополню/скорректирую в режиме зануды: 1:00 Процесс и поток на процессоре может быть один, когда нет ОС. Это кучу МК (микроконтроллеров) и им подобных процов. Даже на х86 можно запустить монопроцесс и, обычно, вы его пускаете. BIOS Based I/O system не редко однопоточна+однопроцессна (но может мои данные устарели) 1:20 я бы прям в начале уточнил разницу между "работает" и "выполняется" ("исполняется"). Состояния ожидания тоже работа (это вам не зомби) и одновременно реально работать без переключений могут сотни процессов, а вот с выполнением да, только один в один фрейм исполнения. Хотя кому-то наоборот "программа исполняется" это существование процесса, а "программа работает" это греет воздух, трасформируя данные 3:20 строго говоря у программы может быть и 0 (ноль) потоков/процессов. Пример -- скрипты, которые не оперируют потоками/процессами, а исполняются родительским интерпретатором. 3:40 программа != процесс, 4:00 потоки так-то бывают разные и на сколько я знаю у потоков могут быть свои адресные пространства, но не уверен. Надо изучить что в каких ОС 4:36 гонки потоков можно, как избегать рядом подходов в мультипоточном прог-ии, так и исключать, так что проблема не совсем понятно, зачем сюда внесена, но при этом даже о законе Абеля ни слова( Часть про простаивающие ядра оставляю на совести автора, там у меня нет знаний, за тем и смотрел =) 12:43 асинхронность, а точнее асихронное программирование либо асихронное выполнение это *один из* способов решить проблему, как достичь большой отдачи на малом числе ядер/потоков. В принципе можно и 10к дескрипторов потоков создать и нихай ОС сама их рулит, если поток умеет переходить в ожидание, то даже разрулит) 14:10 высокоэффективные ли? Если замерять RPS, то с высокой верятностью при идентичной задаче JS можно отточить не лучше питона, тот не лучше явы (иногда питон быстрее даже правильно "сваренной" явы), а эти ребята всё равно уступят Go/RUST/C++/Fortran (я счас о пределе, который можно выжать, а не о качестве библиотек, которые делают разрыв обычно ещё сильнее) Эффективно на тех же JS/Python писать ёмкий код (мало строк, много логики и смысла), но тут ни JIT, ни процессоры, ни ОС ни при чём 14:50 это упрощение сродни Пи = 3, простите. EL исполняет задачи из очереди на исполнение по мере завершения исполнения текущих задач (в частности для JS это по одной задаче), а задачи, завершаемые не выходом, а переходом в ожидание, по мере удовлетворения ожидания, перекладывает в очередь ожидания и взятием из очереди на исполнение следующей задачи На этом всё, надеюсь уточнения кто-то дочитает, а не в в воздух это...

[@danilakim5126]

Немного сложновато, хотелось бы увидеть это ПРЯМ НА РЕАЛЬНОМ ПРИМЕРЕ! Прям наглядно увидеть многопоточность, сам ПОТОК/ПРОЦЕСС. Вот есть компьютер, и что мне делать чтобы увидеть этот поток, процесс?! Запустить программу что-ли? (Понятное дело что и сама ос что-то да выполняет, но как увидеть ожидание процесса, как увидеть что работает многопоточность НА РЕАЛЬНОМ ПРИМЕРЕ?!) МОЖЕТ МОЖНО ПРОГРАММУ НАПИСАТЬ И НАГЛЯДНО УВИДЕТЬ?!? Подскажите пожалуйста, буду благодарен!

[@Emagnarium]

​@@danilakim5126 простейший варик: запускаете live-образ линукс-based (проще говоря убунты), ставите там htop, запускаете его. Там можно наглядно увидеть нити (posix-based threads, по-нашему потоки) и их родительские процессы. Можно изучить и препарировать их, если будет желание. Ещё вариант тот же Process Explorer вместо классического Task Manager виндового способен показать потоки виндовых процессов (не моя специфика, не знаю на сколько глубоко там можно копать) А так, на хабре том же найти реально)

[@captainkryuk1899]

Братан ты бы вышел на улицу воздухом подышал, пивка попил

[@Rulezzz3]

Ты классный зануда, побольше бы таких. Накинул материала нормально.Алкаша сверху, который про пиво говорит не слушай)

[@Emagnarium]

@@Rulezzz3 не, я просто писал сидя на верандочке) С кальянчиком)

[@79fz270704]

Тема интересная, ждем продолжения.

[@RuchejAlex]

Сделаю паузу и скажу. Когда увлекался своим ZX-Spectrum-ом, изучал ассемблер. Благодаря этому, не плохо понимаю тему прерываний, т.к. там это было оооочень хорошо видно. Изначально, на zx работает только одна прога. По учебнику, делал на машинных кодах часы, которые работали в фоне в системе. Для это создаётся прерывание, у которого есть свой номер, как сейчас сказали бы, свой ID. Когда сделал эти часы, которые висят и не пропадают, был в восторге)

[@quasar-lv6pp]

А по какому учебнику учился? Интересно, т.к. сам на спектруме ассемблер познавал в 90-х

[@vryaboshapko]

У меня было наоборот: понимание устройства event loop помогло разобраться с прерываниями на ардуино)))

[@Enerdzizer]

Господа,а можно поподробнее про прерывания? Прерывание разве можно создавать? Прерывания в zx spectrum это аналог программы или это всё таки ближе к callback функции?

[@RuchejAlex]

@@Enerdzizer в спектруме, прерывание задаётся в каком-то регистре и вроде указывается адрес перехода. Уже не помню

[@mvo5450]

Когда набираю в поиске какую-то тему, и в ленте вижу твоë видео об этом - для меня это как явная подсветка - "Здесь точно будет качественное разъяснение." И так и получается.

[@t0digital]

Спасибооо!

[@toomanof]

Продолжай в тоже духе! Хороших лекторов не так уж много!

[@t0digital]

Спасибо!

[@SueBeatMaker]

@@t0digital Поддерживаю

[@MrVindor]

Спасибо за видео! Важная тема, давно жду ее)

[@russiancat2011]

Пересмотрел кучу лекций и подкастов про многопроцессность, многопоточность и асинхронность. Но все было очень сложно и заурядно. Здесь просто и понятно. Спасибо огромное за видео, у тебя талант объяснять!

[@t0digital]

Спасибо большое, очень приятно! Буду продолжать

[@ITPROSTA]

Наверное самое лучшее видео по этой теме на ютубе! Все четко и понятно!

[@t0digital]

Спасибооо!

[@vladimirkirdan]

Ты очень круто всё объясняешь! Очень нравится структура твоих видео! Нет никакой воды из разряда «что бы установить пакет, используйте пип инсталл…» но в тоже время нет «эээ ну тут просто переписываете ядро». Всё очень понятно, доступная информация

[@myroslavzadoian4549]

Ждём следующее видео! Тема очень интересная, интересно услышать твои мысли!

[@t0digital]

Спасибо!

[@НаильХайруллин-э2к]

Комментарий ради большего раскрытия асинхронности

[@t0digital]

Спасибо :)!

[@Yogamassagekzn]

Супер! Как раз по чуть чуть нахватал и так удачно залетел на это видео! Спокойно четко понятно. Спасибо.

[@iforin]

Классный Канал , Рад что познакомился с Автором. Очень интересно

[@t0digital]

Спасибооо! Приятно

[@victorgasiul5813]

Отличный способ подачи, без заумных фраз, но и без ненужного разжевывания простых вещей, жду ещё

[@t0digital]

Спасибо, рад, что понравилось!

[@lavrlad]

Полугодовой предмет ВУЗа в 16 минутах, понятным языком. Вот что значит Питонист вещает)

[@romanwednesday4401]

Ну это всего лишь вводный материал, хотя и достаточно качественный. В ВУЗ-ах часто смотрят более углубленно в проблемы и применения многопоточности, асинхронности(Если это нормальный ВУЗ с хорошим преподавательским составом). Не стоит полностью обесценивать знания которые дает учебное заведение, если оно хорошее(а студент нет). Обидно, если за пол года в учебном заведении тебе действительно рассказали только эти вещи. Такие вузы я называю шарагами

[@SyperMonster]

​@@romanwednesday4401шёл 2024, похоже остались одни шараги)

[@AndreiSokolov-k7j]

@@romanwednesday4401 вуз это полное гавно

[@bagasayn]

Супер, самая не скучная лекция :)

[@VB-s4p]

Благодарю за ваш труд!

[@XXzoroXy]

Хорошая подача! Спасибо за информацию, подписался на канал! Было бы неплохо ввести какие-то графические схемы - визуализация помогла бы лучше понять слова и зависимость понятий поток/процесс/ядро/асинхронность

[@smig6652]

Сейчас это точно лучший канал о программировании в Русскоязычном ютюбе!

[@t0digital]

Очень приятно получать такую оценку работы, спасибо!

[@ЕлизаветаДымченко-ж6ъ]

никогда не пишу комментарии, то здесь просто не смогла удержаться. Качество видео на высшем уровне, очень редко встретишь такое. Информация разложена по полочкам, максимально понятно))

[@t0digital]

Спасибо, очень приятно!

[@dmitrytsmyh5971]

Спасибо за видео! Хотелось бы услышать о: 1) Работе кода при нескольких процессах (multiprocessing) и меньшего количества ядер. 2) Subprocess и их особенности. 3) Сравнение asyncio, multiprocessing и threads, например на I/O на практике. Спасибо!

[@АлмазАндуков]

Не ожидал, от канал с таким количеством подписчиков, такого качества видео, продолжайте в том же духе!

[@t0digital]

Спасибо! Подписчики тоже понемногу растут, что приятно🙏

[@mrMarseleene]

Как же приятно тебя слушать! Спасибо и удачи в развитии!

[@haykvardevanyan95]

Очень понятно все разложил, спасибо большое, как раз пытаюсь учить питон, Я пока на синтаксисе, но думаю уже с этих пор нужно понимать какие технологии испольовать в коде, чтобы на выходе получить нормальное приложение, с высокой эффективностью,однозначно, лайк

[@ЖанЖак-м7м]

Спасибо за подробное и понятное описание!

[@ИльяКрасняк-ц8б]

Шик, как раз то о чём я просил в комментариях)) Классная лекция! Было бы круто добавить визуализацию, какие-нибудь простые анимированные схемы, но может это я зажрался просто)

[@t0digital]

Спасибо! Вот появится если у нас монтажёр, тогда будут красивости, у меня времени не хватает на анимации, к сожалению

[@ZHeKKa]

Поддерживаю. Визуализация каждой отдельной подтемы еще больше бы добавила информативности такому хорошему ролику.

[@romanigorevich5021]

Алекс! Это было самое понятное объяснение на тему GIL и async которое я видел :) Продолжай снимать!

[@t0digital]

Спасибо:)!

[@Sherisher-u8g]

Спасибо. Видео на одном дыхании посмотрел. Очень интересно. Жду продолжения. Когда будет инфа по курсам?

[@t0digital]

Спасибо! Инфа по курсам будет скоро:)!

[@avorion-ru]

Ну наконец то нашел нормальное объяснение, спасибо Вам огромное!!

[@АлександрКозлов-о7к]

Алексей! Спасибо за ваши видео! Почаще бы.

[@arendaru3260]

Интересная тема, жду продолжения и желательно с реальным примером, ну например по описанной задаче обработки http-запросов, трансляци их к субд и выдаче результата клиенту

[@t0digital]

всё будет:)

[@benya4396]

Отличный пример отличия async от thread, и ведь знал что оно так происходит, но когда спрашивали про разницу, лез куда-то вглубь, не задумываясь об этом моменте

[@SerhiiNekrasov-j2n]

16 минут прошли незаметно. Очень интересно!

[@t0digital]

Рад, что интересно:)!

[@egoruzh]

Интересные все видео. Спасибо. Много полезного, без понтов, доступно и профессионально.

[@t0digital]

Спасибо! Рад, что полезно

[@dimusss]

Крутое видео, очень интересно слушать! Будет интересно затронуть обзор реализации асинхронности в только что вышедшей Django 3.1 - что можно с ее помощью делать, что нельзя (напр., пока нет асинхронного ORM, вебсокетов), как отличается деплой, ощущается ли разница в скорости работы с обычным синхронным подходом.

[@t0digital]

планирую такой материал, да

[@mvxmvl]

На одном дыхании посмотрел) Очень классно, продолжай)

[@t0digital]

Спасибо! На бусти уже есть продолжение, скоро появится и на канале

[@FillerWorld]

Всё предельно ясно и по полочкам, спасибо большое!

[@t0digital]

Рад, что полезно! Спасибо!

[@dimilian4719]

Спасибо за каждое видео, очень приятно слушать и смотреть! И темы всегда прям то, что надо!

[@ВладимирКолмаков-в3м]

Уважение за видео, было интересно))

[@t0digital]

Спасибо!

[@andreybelyaev5703]

Спасибо.. Внятно, понятно и без воды.. Талант педагога налицо!

[@t0digital]

Спасибооо!

[@MS-fu3zf]

Здорово. Отличный ввод в многопоточность и асинхронность. Спасибо.

[@t0digital]

Рад, что полезно!

[@ser_yk]

Просто красавчик!

[@StoGigovo]

Алексей, спасибо, смотрю все твои видео подряд, старые еще надо закончить смотреть. ) Невероятно полезно, особенно Джуну. ) Продолжай дальше!

[@t0digital]

Будем продолжать!

[@НикитаПашков-ш9ж]

спасибо большое за простое но в то же время содержательное видео!

[@s_ivanov179]

Очень интересный материал, хотелось бы больше услышать про то, как происходит работа процессора на физическом уровне!

[@Flowmastaz]

Максимально понятным и доступным языком рассказаны довольно сложные вещи для понимания. Большое уважение автору! Но про синхронность надо конечно поразвернутей рассказать в следующем видео, особенно азы и механику событий.

[@dmytrokorbanytskyi1586]

Хорошо объясняете, простыми словами и без перегруженности лексики. Ждем продолжения, я так понимаю будет про корутины и async / await ?

[@t0digital]

да, будет обязательно!

[@MooonRoll]

Спасибо тебе, добрый человек, спустя 4 года.

[@ДаниилШестаков-щ8к]

Спасибо , надеюсь разберусь в теме асинхронности с нуля до полного понимания благодаря вашим роликам. Перехожу к следующему )

[@fransdeston8404]

Год назад смотрел видео))) Сейчас пересматриваю, и понимаю значительно больше уже) Короче, я на этих видео понял суть программирования! Спасибо большое, это значительно упростило мне жизнь!)))

[@ИгорьБотухов]

Невероятно интересно! Спасибо за то что объясняете все таким простым и понятным языком!!!

[@t0digital]

Спасибо! Рад, что нравится:)

[@copycat774]

Супер-информативное видео. Новичкам сэкономит много времени. Наконец-то понял, что такое логические ядра. Благодарю.

[@t0digital]

Рад, что полезно!

[@Konushbai]

Спасибо! Ждем больше примеров на практике

[@kutsokon]

Пересматриваю этот видос в 3 раз. Он как хороший фильм или книга, каждый раз понимаю его по новому

[@t0digital]

Рад, что полезно! Спасибо!

[@kutsokon]

@@t0digital вам спасибо :)

[@jagudinfelix4470]

Добрый день, видео интересное и познавательное и вызывает ещё больше вопросов😁. Буду ждать следуещее видео)

[@t0digital]

Спасибо!

[@kostya8877]

Просто лучшее объяснение из всех, что я смотрел, все четко и структурированно. Спасибо огромное!

[@webxcryptoit7308]

Все очень круто, отличный формат и подача! Спасибо, большое!

[@t0digital]

Спасибооо!

[@ansor9775]

Круто получилось - просто и понятно. Ждем подобные разборки. Спасибо )

[@t0digital]

Спасибо!

[@gladiator-5674]

Очень важная тема. Ждем пример реализации на python P.S спасибо Вам за ваши обучающие видео. Рассказываете все очень доступным и понятным языком

[@t0digital]

Спасибо! Да, в следующих видео будет реализация!

[@Любимыеотрывкиизкиноисериалов]

Первой барьер в 1 Гц прошла AMD. Они чуть-чуть опередили тогда Intel

[@Имяифамилия-з4ю]

Чуть чуть-чутей?))

[@evermake-yt]

Лучший! Бооольше годного контента по Python 😱🤓

[@banji356]

Спасибо тебе! Ты мегакрут! Если я еще не опоздал с просьбами, то хотелось бы услышать опыт и правильное применение асинка и тредов не только в вебе, но и в других кейсах. И еще раз спасибо и удачи!

[@t0digital]

Спасибо! А в каких задачах еще было бы интересно про треды и асинки?

[@banji356]

@@t0digital Ну например я сейчас работаю над мессенджером, и на каждое входящее сообщение создаётся отдельный поток, который скачивает этот файл, и отправляет на другой сервер. Что лучше в таком случае подойдёт асинк или потоки? Второй пример как получить переменную из потока, над которой он работает в обычной функции используется ретурн, а что делать в случае с потоками непонятно, или бд, или запись в файл, но вроде как это костыли. Возможно ли внутри потока использовать асинк и целесообразно ли это?

[@MadMike93]

Опа))) пол года назад собирался для себя рисёрч делать по этому вопросу, задавал вопросы парням в чатах в телеге, но так достаточно времени на это и не выделил. Спасибо)))

[@t0digital]

Прокачаем эту тему еще глубже в следующих видео:)

[@MadMike93]

@@t0digital Ну что же))) Москва не сразу строилась))) спасибо за труд)))

[@anatolys9203]

отличная лекция! впрочем как и всегда. спасибо за твои труды и доступное изложение сложных тем.

[@t0digital]

Спасибо, рад, что полезно!

[@mgm_smile]

Отличное видео! Жду продолжения =)

[@t0digital]

Скоро будет:)

[@zshfan]

Отличная тема! Было бы интересно ещё о GUI посмотреть на примере PyQT/Tk/PySympleGUI

[@ПавелКуликов-и3м]

спасибо за "асинхронность"!видео с темой

[@АлексейКалинин-ш1с]

Самое чёткое и ясное введение в тему какое только встречал!

[@dmytroznak8843]

Каждый раз слушаю с большим интересом) спасибо)

[@t0digital]

Спасибооо!

[@АртемЕршов-р9е]

Всё детально и ясно. Спасибо!

[@bvs-16]

Полезная тема! Для веб-приложений асинхронность важнее многопоточности и в этом надо разбираться. Годно!

[@fransdeston8404]

Чертовски хорошо рассказываете! Легко, Просто, а главное Доходчиво! Автор ниже прав, Хороших Лекторов хрен где найдешь! В таком формате я бы с удовольствие в Универе учился, если бы мне так преподавали! Я бы, с удовольствие, осилил и 2 часа такого видео!) Спасибо Автору, пошел смотреть дальше!)

[@t0digital]

Спасибо большое за такой отзыв, приятно!

[@alexanderthegreat489]

Спасибо за видео! Очень интересно и хочется побольше примеров и практики))

[@t0digital]

Да, в следующих видео будут примеры и практика

[@irinalivra6789]

Очень доступно ^_^ спасибо!

[@t0digital]

Юхууу, спасибо! 🙏

[@FILA2209]

Круто! Все очень доступно и понятно изложено! Спасибо!

[@Kayander1]

Спасибо за видео! Насколько я знаю, текущая версия Django работает исключительно синхронно кроме самих HTTP запросов? Пишут что асинхронная версия находится в активной разработке. Сейчас запросы к моделям (в базу) тоже синхронные, надо использовать sync_to_async из async контекста. Интересно, станет ли Django приложение работать быстрее в целом на асинхронной версии?

[@t0digital]

Сейчас, как я думаю, в джангу писать что-то асинхронное, еще точно рановато. Со временем - посмотрим, как оно всё будет, может и допилят до юзабельного эффективного состояния, но работы там огромное количество предстоит для этого.

[@Dastan1910]

Спасибо большое, теперь наконец-то стало понятно! )

[@ВадимКозячий]

наконец-то хоть где-то нормально рассказали об асинхронность. Ждём следующего видео.

[@t0digital]

Спасибо! Продолжение следует:)

[@vladislavhirsa9094]

Не хватало визуализации для наглядности, а в целом ОООчень крутое видео о важном. Большое спасибо.

[@mikhailpetrov1948]

Большое спасибо за доступное объяснение таких важных вещей!

[@t0digital]

Спасибо, рад, что понравилось!

[@DP_AS]

Спасибо! Вы отлично объясняете! Ценный материал!

[@cyrilanisimov]

Спасибо! Ждём обзор способов межпоточного и межпроцессного взаимодействия

[@Матвей-в9э8ч]

Спасибо большое! У меня была каша в голове по этой теме, никак не мог понять как это все связано

[@моёимямояфамилия-ь2б]

Спасибо! Мега крутой теоритический видос! Осталось разобраться с практикой

[@t0digital]

Спасибо! Скоро будет практика

[@s1mplo755]

Классно рассказываешь, приятная атмосфера

[@t0digital]

Спасибо!

[@alexandershurakoff9506]

Клевое видео для погружения в тему!

[@sergekozlov9876]

Спасибо большое, ждём продолжения

[@t0digital]

спасибо, скоро продолжение, на бусти уже кое-что есть:)

[@МишаАлексеев-я1ч]

Присоединяюсь к остальным комментариям, тема очень интересная, так как в Python очень много асинхронных возможностей. Мне например не хватая уровня английского, чтобы читать официальные документации в оригинале не хватает понимания в теме корутины, генераторы, asincio и всё в том духе, информации в интернете много, но всё обо всём да ни о чем, надеюсь у Вас получится наиболее точно осветить эти темы. Давно наблюдаю за каналом, очень нравится как Вы объясняете.

[@dimazepam]

как всегда - шикарно и доступно. но было бы ещё лучше, если бы добавили какие-нибудь визуальные пояснения, простенькие схемки и тд

[@antl31]

Здравствуйте, можете пожалуйста сделать видео о многопоточности, многопроцессорности в Python. От части не понимаю зачем ввели механизм многопоточности, если он не даст никакого прироста, а то и вовсе сделает медленнее приложение, и касательно многопроцессорности это рассказать про способы размещения общих обьектов для процессов, возможно использовать БД, Redis, HDFS и т.п. как эффективное хранилище ресурсов нескольких процессов.

[@777777Philipp]

Супер! Очень интересно и доходчиво

[@angls194]

Алексей, молодец! Здорово рассказываешь, просто о сложном! Интересная тема и все по полочкам.

[@t0digital]

Спасибо!

[@Pumba053]

Спасибо за хороший материал, очень доступно для начинающих!

[@jorupbek]

Спасибо огромное за Ваши труды. Очень интересно и понятно)

[@t0digital]

Спасибооо!

[@ZHeKKa]

Спасибо за разъяснение такой интересной, непростой, но важной темы.

[@limonred5283]

Круто. То что доктор прописал!

[@frx1692]

Спасибо большое за ваши поучительные материалы

[@radiksaiakhfarov4794]

Ждём продолжения!)

[@t0digital]

Спасибо! Скоро будет продолжение

[@volfsonic]

Благодаря таким авторам, хочется изучать тему. Спасибо! Смотрим дальше