Основы многопоточности в Python

Продолжая тему конкурентности и параллелизма посмотрим на старые добрые потоки.
multithreading - многопоточность, подходит для IO-bound задач, использует ОС, страдает от GIL (важно помнить)
Полезно для ускорения выполнения задач или для того, чтобы текущий поток занялся другой задачей
Любая программа это минимум один процесс и один поток
Полезно использовать daemon=True, очереди, pool exeсutor, НО в любом случае все зависит от программиста!
Плюсы:
+ просто(сравнительно)
+ быстро
+ не умирает из-за одного(!)
Минусы:
- потребление ресурсов (ОС)
- неуправляемость (старт, приостановка, переключение)
- проблемы потоков (гонка, блокировки)
Читать:
docs.python.or...
docs.python.or...
Фаулер М. "Asyncio и конкурентное программирование на Python"
Присоединяйтесь к помощи каналу, будет интересно)
✔️Бусти boosty.to/pyth...
✔️Юмани 410011506612886
Будь первым везде и всегда, включай уведомления о новых выпусках 🔔
Смотри там где удобно🤩
✔️ python_...
✔️ boosty.to/pyth...
✔️ / pythonrussian
✔️ t.me/python_ru...
✔️ dzen.ru/python...
✔️ rutube.ru/chan...
#Python #PythonRussian #PyCharm

[@PythonRussian]

Друзья, к сожалению предновогодняя пора - это время залатать дыры и отрелизить все , что можно, времени нет совсем. Но надеюсь до Нового года еще одно видео сниму. Не забывайте подписаться на канал и всем удачи.

[@databox4279]

Удачи и Вам. Огромная благодарность, что находите время для создания новых роликов.

[@MrVovak85]

Спасибо за проделанную работу!

[@Miron_Nicolaevich]

Для таких тем нужно не запись в 50 минут, а вебинар на 8 часов) с тестами, с ООП, с архитектурой. с использованием различный паттернов. Можно реальную лекцию подготовить) Так же конечно можно рассказать что бывают и RLock и что все это может работать с контекстным менеджером) А еще бывают семафоры, барьеры и куча всего бескрайнего) Провести аналогии с multiprocessinig, то как одни могут порождать других. И все это весьма интересно и Автор конечно прав, это вершина айсберга и нужно глубоко самому погружаться в вопрос. На русском языке в сети скудно с данной инфой, к сожалению.

[@non5309]

дофига, вы просто плохо искали

[@marinatsoy6779]

В вашем объяснении все начинает играть другими красками)

[@Великолепие-т2х]

Спасибо ;)

[@non5309]

Хороший выпуск. Пул потоков тоже создает потоки, там все те же низкоуровневые обращения к ОС, просто они могут быть переиспользованы (вызывать задачу несколько раз с разными наборами аргументов). В остальном - замечательное видео.

[@_dzen_tv_]

Неуправляемость потока так-же подразумевает тот факт что мы извне не можем управлять работой потока, кроме запуска. Приостановить выполнение потока или продолжить, это всё только изнутри.

[@ilyaukhlin3501]

Спасибо большое за видео)

[@Miron_Nicolaevich]

Супер интересная тема. Когда изучал, случился очередной инсайд. Автор говорит что это сложная тема, даже для олдов. Но на удивление, сейчас это требуются даже от джунов, но это не означает что это просто))

[@non5309]

асинхронку, потоки спрашивают похоже вообще все теперь. Даже если в вакансии про это не слова.

[@PythonRussian]

от джунов требуют скорее какого то представления об этом, как минимум про ГИЛ всегда спрашивают.

[@non5309]

@@PythonRussian вот что спрашиваем мы и спрашивают другие по этой теме: системные вызовы, GIL, виды операций, концепция асинхронного программирования. потоки/процессы с точки зрения различий, межпроцессное взаимодействие, сигналы, прерывания, планировщик ОС. Это минимум, если человек плавает и не знает этих основ, то пока.

[@01011968Desgner]

17:12 Главный поток завершился, но не умер. Главный поток будет ждать завершения всех недемоничесих потоков. def background_task(mainthread): print("Фоновый поток начал работу") time.sleep(2) print(f"Основной поток жив? {mainthread.is_alive()}") # False active_threads = [thread.name for thread in threading.enumerate()] # ['MainThread', 'Thread-1 (background_task)'] print(active_threads) print("Фоновый поток завершил работу") Передайте основной поток в функцию и убедитесь, что он присутствует в списке активных потоков! ) Дело в том, что этот поток особенный, даже если у нег is_alive()=False - он остается в списке активных потоков до завершения программы.

[@ViacheslavSergeev]

Здравствуйте! Ваш канал - жемчужина из себе подобных. Благодарю за подробное объяснение. Я начинающий в этой сфере и пытаюсь своими силами изучить Питон в свободное от работы время. Могли бы записать видео о фреймворках? Например Джанго. Спасибо.

[@ypohut1673]

Коммент в поддержку🎉

[@vandriichuk]

Круто

[@01011968Desgner]

Вопрос про использование демонических потоков с join(). Разве это не полный аналог запуска недемонического потока? Ожидание продлится до завершения потока в обоих случаях. В чем профит? Ведь если есть join() потока, то его никто прибивать до его завершения не будет?

[@USER_____Oo_____USER]

Top content!!!

[@01011968Desgner]

27:54 То что вы рассматриваете, это не состояние гонки, а ситуация с устареванием данных. Введение задержки просто приводит к потере актуальности данных. Потоки не конкурируют за ресурс, они просто оперируют устаревшими данными. Хотите гонки? Пишите данные из разных потоков в один файл!). И думать, что скорость переключения потоков - это постоянные пять миллисекунд - заблуждение!) Поставьте в свой скрипт задержку в 0.001 секунды (в пять раз меньше) все равно получите искаженные данные.

[@01011968Desgner]

24:13 Когда происходит одновременный старт 10_000 потоков, то подозреваю, что выполнение CPU-bound вычислительной задачи происходит по любому последовательно, действие за действием. Еще есть подозрение, что система не создает одновременно 10_000 активных потоков, ведь ранее, было сказано, что это число ограничено?

[@non5309]

потоки, процессы сложные если разбираться без практики. На степике есть курсы по этой теме с практикой. Не скиллбокс и ЯП за стопицот денег а адекватные.

[@Chel1k7]

что можешь сказать про либу gevent? она вроде бы убирает gil

[@PythonRussian]

ничего не скажу, когда то давно слышал, до прихода асинкио про гевент и торнадо, с тех пор не на слуху, надо разбираться что она и как делает.

[@hdhdjdjdjjd1263]

Привет, можешь рассказать что нужно знать, чтобы писать веб и стать джуном на питоне

[@PythonRussian]

тут разговор на целое видео, постараюсь запланировать на весну =)

[@yerlanakhmetov6028]

CFBR

[@PythonRussian]

ребят, я не удаляю никаких коментариев, кроме совсем уже отмороженных, если ваш коммент удален, то вы или код какой то там прицепили или ссылку или мат там есть, Ютуб удаляет сам. Просто вижу в почте мне пишут, что я мол удаляю комменты, это не я =)

[@vladsnk5706]

Кто то подскажет, в каком видео был разбор схемки на 4:21

[@EquipiT]

"паралельность и конкурентность"

[@quansumonner]

Сэр, мне нужно мнение эксперта, и ваши навыки не вызывают сомнений. Как вы относитесь к накрутки опыта в разработке? Если другие варианты? У меня сейчас 2 резюме и единственное, что в них различается, это количество опыта, но на одном 2 отлика (о опыта), а на другом 26 (1.6 опыта).

[@PythonRussian]

а как вы отнесетесь, если вам продадут машину со скрученным счетчиком? Нехорошо это, я против, это же обман, причем такой, который вскроется. У меня много знакомых в рекрутинге и они мне каких только историй не рассказывали, включая и прохождение собеса одним человеком, а на работу пришел другой. Не надо так, сделай крутой пет-проект, добавь его в резюме, не откликайся на все подряд, добавься в линке к тысяче ХР - вот это поможет. и не переставай учиться

[@quansumonner]

​@@PythonRussian Спасибо за ответ. Насчёт машины пример неподходящий, у меня нет прав. Проблема в том, что у меня есть pet-проекты: начиная от простенького: 'сервиса бранирования', Чат-бота по спортивной тиматики( который 'крадёт' идеи у некоторых блогеров, всё в открытом доступе), заканчивая своей библиотекой для NLP ( кое-что позаимствовал у Chainer). И при этом у меня Experts(это ранг) на Kaggle, да это не мастер(это в процесе), но всё же. Я даже не знаю, что ещё сделать:) Не очень кайфово, когда проходишь интвью во 'фейку', а по реальному тупо не зовут. И я получил 8( из 11), но отклоняю. Не хочу врать, но у меня уже стадия принятия:) "мне рассказывали, включая и прохождение собеса одним человеком, а на работу пришел другой" - Кошмар! Учится нужно всегда - это база! Извените за обилие текса. Спасибо!

[@PythonRussian]

кеггл не уверен что кому то нужен вообще, пет-проект нужен хороший и один, посмотри у меня стрим по этому поводу был

[@quansumonner]

@@PythonRussian спасибо!

[@Chel1k7]

В python потоки лучше всего умеют это спать

[@СергейФролов-ъ5я]

Спасибо за видео! Очень полезно