Как распознавать жесты и управлять Arduino - Компьютерное зрение (OpenCV и MediaPipe)

[@LabRazum]

Видео, на которое ушло ~20 моих вечеров, но я очень доволен :) Версии библиотек, которые использовались в видео: Python 3.9 Mediapipe 0.8.9.1 Pyserial 3.5 Opencv 4.5.5.62 0:32 - О нейронных сетях 1:12 - OpenCV и MediaPipe 2:01 - Адресная лента 2:25 - О программе и комплектующих 4:49 - Подключение веб-камеры 5:28 - Распознаём руки 6:12 - Работа с отдельными точками 6:39 - Отправка координат точки в Arduino 7:48 - Подключение ленты и настройка Arduino 9:19 - Учитываем только поднятый палец 9:53 - Добавление других жестов 10:56 - Пример использования компьютерного зрения 11:23 - Заключение

[@lordfire9608]

Огромное спасибо! Оно того стоило! Завидую тем пацанам, которым посчастливилось заниматься в вашем кружке (если занятия ещё не прекратились)! Звук обалденный, подача доступная. Очень рад, что есть целое сообщество таких " онлайн Преподавателей".

[@LabRazum]

@@lordfire9608 спасибо, рад, что оценили! Занятия в школе продолжаются :)

[@anton.prohvost]

Виктор, это замечательно! 👍🏼 Подписался на канал с первых кадров. Доступно, грамотно, корректно, интересно, полезно, красиво, приятно смотреть. Спасибо Вам большое за Ваши труды!🙏🏼Вы молодец!🤝👍🏼

[@Mathandmore]

Спасибо за видео! Как раз у меня Pi3 есть, вот насчет камеры, обычная камера с подключением через USB порт подойдет?

[@LabRazum]

@@Mathandmore да, подойдёт

[@currentdraft6754]

Прекрасная подача материала!!! Видно, что за кадром была проделана большая работа. По уровню доступности для начинающего ничего лучше не видел! Всего одним видеороликом вы многократно понизили порог вхождения одновременно сразу в несколько очень важных (на первый взгляд разрозненных) тем, объединив всё это в единый лаконичный и законченный проект. По сути, вы внесли очень большой вклад в будущее развитие и расширение комьюнити, а это важнее всего! Лайк и подписка!

[@LabRazum]

Благодарю, рад, что вам понравилось!

[@currentdraft6754]

@@LabRazum Раз уж вы начали, то, думаю, стоит продолжить тему компьютерного зрения в связке с ардуино. Тем более что многим "эта магия" не просто интересна, но и принесет большую практическую пользу, так сказать поднимет ардуино самоделки на новый уровень! У вас талант объяснять довольно сложные вещи очень простыми и наглядными вещами. Есть несколько уроков из интернета по которым начинал учиться сам с нуля и которые в дальнейшем помогли сделать манипулятор с настоящим компьютерным зрением (можно на него глянуть у меня на канале). Эти уроки (их немного) совсем небольшие, относительно просты и наглядны. Может быть у вас получится их переработать, сделать ещё более доступный материал (чем в них самих), собрать ещё один интересный и познавательный проект (как в этом видео)?! Возможно вы с ними знакомы, но всё же... На сайте robotclass*ru они немного хаотично разбросаны и не сразу ищутся, надо там в поиске вбить opencv. Пытался вставить прямые ссылки на уроки (их всего 7), но видимо ютуб не позволяет это делать в комментариях (удаляет их).

[@LabRazum]

@@currentdraft6754 спасибо, да, видел эти уроки, подумаю над продолжением, если будут желающие

[@RussianSkeeper]

@@LabRazum Желающие очень даже будут.

[@СергейСафин-н9с]

Супер! Очень доходчиво про распознавание жестов. Вижу множество применений, где в умном доме нельзя шуметь или наоборот много посторонних шумов и голосовые команды не распознаются. А так же там, где например нужно нажать кнопки, но нельзя прикасаться, потому что руки грязные или наоборот, нужно сохранить стерильность.

[@LabRazum]

Отличные примеры, спасибо!

[@СергейН-я8ш]

Анимация протокола обмена на бумажках на нитке - огонь! Улыбнуло! Благодарю за видео.

[@user-kpinf]

Замечательно! Вы не останавливаясь продвигаете будущих авторов мира будущего. И судя по всему Вам это в кайф. Успехов Вам!

[@almaz1502]

К счастью, мир может быть не только техногенным

[@igor_electrician]

Какой божественный контент. Однозначно подписка. Спасибо! Развития каналу!

[@korobok1st]

супер! спасибо большое! я например могу теперь управлять скоростью насоса (давлением) в система водоснабжения дома! очень здорово, что есть такие люди!

[@andrey_pav]

вот это уровень! порог входа в компьютерное зрение резко упал и можно вкатываться. спасибо Вам за такой подарок.

[@otsy7947]

порок? ))))

[@andrey_pav]

@@otsy7947 исправил (

[@iqubik]

Очень и очень и очень цельно и круто. Взял лучшее от Гайвера, лента, сложность и полные материалы. Красавец! Мое уважение

[@chrisn.6760]

Для глухонемых это программа супер. Таким образом можно переводить их разговор

[@ЕвгенийБолдырев-п7о]

Отличное видео. Всё по делу. Натолкнул на более простую реализацию своей давней задумки. Спасибо!

[@dobriychel7584]

Очень круто. Необычно. Для ардуинщиков прям свежий впрыск адреналина, жаль пайтон я не знаю.

[@LabRazum]

На самом деле очень легкий язык, гораздо легче С++

[@AndrewPstvt]

Потрясающе, никогда не видел настолько понятной и качественной подачи материала. Очень интересно👍

[@almaz1502]

Прям настолько потрясающе? А что, вы собственно поняли из видео если отбросить всю мишуру. Сможете повторить? Конечно не сможете, потому что это видео не обучающее. На обучающих видео не пишут код с такой скоростью. А так... посовенькое (качественный монтаж, озвучка, афоризмы) видео для контента

[@AndrewPstvt]

@@almaz1502 Как минимум простоту реализации казалось бы сложного проекта. Ролик является наглядной визуализацией полезной и статьи, так что нет смысла писать в реальном времени. Кроме того автор лично сказал, что в статье все куски кода прокомментированы.

[@RussianSkeeper]

@@almaz1502 Код приложен - можно разобраться неспеша. А вы что сказать хотели-то?

[@oleggulyakov2718]

Завидую умным людям😐. Очень интересный проект. Удачи вам и всего хорошего.

[@ДмитрийГоровой-м8з]

Супер! Это отличная система для диджеев. Мало того что зажигаешь народ на веселье, так ещё жестами можешь отдавать простые каманды светомузыке в зале! Поднял руку, показал жест 🖖 а светомузыка убавила яркость и сменила ритм на романтический медляк. Показал жест 🤘вспыхнули прожектора, замелькала яркими огнями танц плащадка клуба! Применение безгранично! Хоть управление бытавыми приборами, ткнул пальцем в сторону телика, он включился, крутанул палец в сторону окна, открылись шторы! Кондиционер, кофеварка, будильник, и тд. и тп. Вот вам умный дом! Короче вы ограниченны только своей фантазией.

[@Александр-л4с3ф]

Очень интересно, как Ардуино и питон совмещаются. Пример шикарный! Побольше подобных проектов! В данном случае самое простое одноцветную светодиодную подсветку сделать с регулировкой яркости в режиме таноса, пальцами). И кстати для перехода в режим управления надо жест или положение пальцев специфическое ввести, чтобы просто болтая руками яркость не менялась как получится

[@LabRazum]

Отличная мысль по поводу жеста для активации, в принципе, если пойти ещё дальше, можно даже сделать "меню" из жестов и добавить жесты для принятия и отмены)

[@Александр-л4с3ф]

@@LabRazum меню из жестов можно, но чем больше жестов, тем выше вероятность непроизвольно их воспроизвести. На мой взгляд самое устойчивое ввести жест для перехода в режим регулировки, моргнуть в ответ светодиодами, настроить яркость и через несколько секунд выход из режима настройки, может тоже с морганием, чтобы было ясно, что поздняк метаться уже😄. Но если с разными жестами, так познавательнее будет зато, в качестве примера😉

[@Ilya_Smurygin]

11.18 респект!! Я то же с этой композиции тащусь!! С работы еду, у меня плохое настроение!! Врубаю фильмы!! И вот оно!!)

[@pan_electric]

Благодарю за видео. Желаю тебе здоровья и благополучия. Пишу это так как ели выжил после ковидом и сегодня первый день как дома после 9 дней в больнице пролежал и сейчас с кислородом. Привет тебе и твоим подпишиком с Греции

[@LabRazum]

Благодарю, вам скорейшего выздоровления!

[@Никита-д2щ1о]

господи, спасибо за это видео. это оч. классное объяснение. Я пытаюсь сделать водяную турель

[@tomas111video]

Отличное видео, видно что потрачено не мало времени. И код у меня сразу заработал. хочу вместо Com порта использовать сокет для передачи того же самого но через Эзеернет. И понял что просто в тупую соединить у меня не получилось. Придётся чуть подумать и поковырять, возможно даже придётся распараллелить. За видео ЛАЙК. Достойный материал!

[@amigo...007]

Приветствую...Очень понравилась подача материала ..не спеша с расстановкой и подробностями...Я бы это наверно применил для робота с интеллектуальным зрением когда надо дать команду не голосом а рукой....Как раз такой проект и собираюсь строить... Да я так понимаю эти же библиотеки приемлемы и для СТМ32....

[@Rus_slan]

Очень зачётный труд. Как говорится ни...я не понятно, но очень интересно😂. Жаль что не встретил раньше.

[@dimarusful]

Интересная вещь это программирование, питон с новыми библиотеками ваше крутой, жаль, что я все равно его не осилю, когда доходит до сложных задач))

[@sauvignonblanc5086]

Креативный подход к созданию видеоконтента 😎👍🏼🍿 Спасибо)

[@creativefamily6704]

ОООООчень понравилось! Спасибо! С меня лайк и подписка однозначно! Можно не видимый кодовый замок сделать подошёл к двери и на ней как на клавиатуре нажал код не касаясь двери но в поле камеры. Просто доступно с меня подписка! Даже в голову не кому не прейдёт что хата таким образом с охраны снимается.

[@vitteradiary]

Ооо, это прекрасно. И монтаж, и код, и пианино. Я восхищаюсь

[@MrMrbelik]

На 5 минте я понял сколько было проделано работы. Одназначно лайк и подписка

[@Ardbot]

Спасибо, интересное видео. Может будет полезно для будущих разработчиков метавселеной)

[@OO-OO-00-88]

У квеста уже есть хэнд трекинг

[@RoboTron_Channel]

Это образец, как надо делать видео уроки!

[@evkud1]

Здорово. Теперь понятно как это работает. Спасибо.

[@refreshingscience2026]

Просто бомба. Лайк вполне заслуживает. Но почемуто людям жалко

[@learner4143]

Огонь! Качество, подача, материал - спасибо!

[@alnibl]

Класс! Все четко и понятно! Отдельное спасибо за Порнофильмы в конце! ;)

[@МаксимГамов-ь3и]

Очень качественный контент, прошу, не пропадайте!

[@timurg3865]

привет. - похоже война внесла коррективы.... будь она проклята. МИРУ МИР !

[@nicktriada1]

Подписался сразу на второй минуте просмотра, это лучший контент по теме который я видел!!!!

[@AVit77]

Очень хорошо снято! Ну и тема интересная. Спасибо!

[@ДмитрийБелов-ъ2в]

Спасибо! Очень классно👍 Планируете ли Вы уроки по обучению с подкреплением?

[@ВалентинГерасимов-б9п]

Это лучшее что я видел за последние время!

[@АртёмХроменко-ш4ж]

Мега крутой видос, жаль что так мало человек оценило:( Сделай ещё что нибудь простенькое для новичков на контролере, с подробным пояснением кодинга)

[@LabRazum]

На самом деле для моего скромного канала по этому видео супер показатели, лайк поставил каждый 9-й зритель (хотя я об этом не стал просить в видео), чему я очень рад)

[@АртёмХроменко-ш4ж]

@@LabRazum вчера случайно наткнулся на ваш канал, и был приятно очень удивлен!) С товарищами сейчас занимаемся ровно тем, что и вы несколько лет назад ( в более скромных масштабах конечно) - небольшая лаборатория для свободного технического творчества студентов. Ваш опыт о котором вы рассказываете в видео очень полезен, спасибо!

[@AlexLink-rb5by]

Круто .. Можно задавать пароль рукой(жестами) перед дверью без замка(скрытый электро замок).

[@сергейсидоров-ю3о]

Куда Вы пропали?

[@sergeitannenberg503]

Отличное видео, доступная и приятная подача, спасибо!

[@ЕркежанКурманбаев]

Это нечто, успехов Вам, продолжайте, Вы на правильном направлении

[@220UP]

Офигеть! Круто смонтировано и легко смотрится!

[@vannadij]

офигенная штука!! я давно искал контент такого направления

[@Egor_ZDE]

Интересненько! Рад, что на канале появляются новые качественные видосики) взял вот, клип скучающих пересмотрел. Как там дела с обучением ребятишек?)

[@LabRazum]

Всё хорошо, пока учимся, опасаясь повторения ковид-ограничений)

[@МаксимЭлектрик-р3ы]

Наращивается возможность управлять в виртуальной реальности. Я, как электрик, вижу, что для успешной работы нужна визуальная плоскость, расположение рук не выходящее за пределы плоскости (рабочий диапазон), и явное указание параметра. Например, с помощью рук управлять громкостью). Применительно к вашему ролику, можно было клавиатуру сделать виртуальную))

[@LabRazum]

На 4:00 минуте разве не то, о чем вы говорите? :)

[@Fly-24]

Дана из лучших подача материала, спасибо Вам.

[@MrArtyomle]

Отличный контент. Отдельная благодарность за локаничность!

[@kosmos8460]

Спасибо вам Виктор очень интересный и необычный крутой проект 👍

[@SmD_Amir_]

Отличный материал, спасибо за видео!😍

[@RomanKnabengof]

Обалдеть, Виктор Это очень круто

[@eloversclub]

Спасибо! Круто! Можно сделать виртуальную гитару) Но подобные задачи, естественно с определенными ограничениями, уже можно решать на одном микроконтроллере, например - kendryte k210.

[@viktorvoinov8349]

Больше подобных проектов! :-)

[@ВладимирМалыгин-л7ч]

Круто. Очень доступно. Однозначно подписка

[@Bekchentaeva]

Это гениально🔥👏🏻

[@klinnoff]

Подача просто супер!

[@andrewkopchegashev9937]

Хочу сделать в комнате светильник а ля GLADOS. Чтоб он поворачивался в сторону двери, когда кто-то заходит. А далее следил за лицом человека и не спускал с него взгляд😅 начинаю учить машинное зрение. Спасибо за видео!

[@yerzhan_auyezov]

Отличная работа! Примеры просто супер

[@yuriybaranovskiy9642]

очень доходчиво,хорошо умеешь объяснять!

[@ВсеволодКузнецов-и2л]

Качественный материал, грац. В топ

[@Soul-2517]

Блин))) восхищаюсь!

[@КлайвСинклер-е6ю]

Отличный пример. НО для связи компьютера и ленты я бы порекомендовал например ESP-01, тем более, что для него есть почти готовые блоки на Али, остается лишь подпаять защитный резистор и вперед - командовать лентой (или не лентой)

[@LabRazum]

Да, я показал лишь принцип, а так хоть две ардуины и радиопередатчик

[@vadimkuldim6450]

Классный перевод от интуса

[@activedrive8310]

Очень круто!!! Интересно, доходчиво. Спасибо!

[@igorkroshkin9354]

офигенно. лайк. подписка :)

[@dfcf7555]

очень хороший ролик. и сделан очень приятно 👍

[@zerox2536]

Проект очень классный! Можно узнать, какая у вас версия Python и Mediapipe?

[@LabRazum]

Спасибо! Версии самые последние на данный момент: Python 3.9 Mediapipe 0.8.9.1 Pyserial 3.5 Opencv 4.5.5.62

[@zerox2536]

Спасибо за ответ =)

[@_kornev]

Супер, очень доходчиво!

[@JonizDoc]

Очень интересно . Спасибо за объяснение

[@Diogenov1]

Благодарю! Очень интересно!

[@ЮрійГуменюк-г4в]

Супер подача материала !

[@Uroboross8]

Потрясающе!

[@blackfear6765]

дайте мне белые крылья), отличное видео👍

[@Ray.wp.]

через тернии, провода... :)

[@wisterplay]

Топово!!! Я попробую повторить. Можна рассказать как сделать чтобы нейросеть распознавала метки и передавала на Ардуино. Мне очень нужна так как делаю робота козмо на Ардуино

[@bloodyCayman]

А, ну так и я могу, я то думал именно на Ардуино, а не Ардуино в связке с RaspberryPy/PC Но тема интересная, классное видео

[@smartmoneytader]

Возможные применения: 1) людям с особыми потребностями -- немым, например 2) подсветка на клавиатуру (чтоб во время печати) 3) в обучении на музыкальных инстументах и вообще везде где нужно развивать чувство такта

[@art2802]

Видео хорошее. Спасибо за него. А есть ли библиотека для распознавания автомобильных номеров. Чтобы шлакбаум открывался сам, если перед ним прпвильный номер в определенной зоне?

[@LabRazum]

Да, это делается теми же самыми библиотеками, о которых говорилось в видео.

[@antient_atlas]

Твоё видео великолепно

[@Heron31415]

с пианиной зачет!

[@ЧеловекЧеловечичь]

Крутая задумка.

[@Александр-х6э8ш]

Спасибо. Весьма интересное видео.

[@ГлебДикушин]

Чел ты гений

[@ThePoteryannyi]

Класс, вот только убрать бы комп и использовать одноплатник. Интересно orange pi zero2 справится?)))

[@brainboom5509]

Для ардуино же есть модуль камеры с вшитым openCV, который умеет отслеживать руки/лица. Что-то такое, вероятно, можно сделать без посредника в виде компа

[@ЮрийКуликов-ь3х]

дабл лайк за мелодию в конце!

[@Mrdmitriy24]

Классное видео, автор молодец!

[@xiaomi4307]

Вот простое упражнение для зрения заходишь в комнату и повторяешь фразу каждый охотник желает знать где сидит фазан и ищешь красный зеленый синий цвет и так далее

[@mr-grey4135]

Самым бомбическим применением было бы создать на основе этой технологии мышку для двух рук т.е. 5-10 пальцев. У тех кто много работает за компом есть такая проблема как тунельный синдром, вроде бы придумали вертикальные мышки и стало чуть-чуть легче, но проблемы остались такие как статическое напряжение мышц (СНМ) это когда пальцы на мышке находятся постоянно выпрямлены (когда эргономически у них должно быть полусогнутое состояние - несжатый кулак)... Это как примерно делать упражнение планка в течении 8 часов... Так вот если конкретизировать идею то для начала сделать простую мышку (без мышки в виде устройства) где кисть будет выполнять тело мышки и будет отвечать за движение курсора по экрану, изгиб указательного пальца клик левой клавиши, большого правой. Еще, для лучшего обзора положения пальцев камеру лучше располагать над клавиатурой или под экраном монитора чтобы она видела все десять пальцев т.е. обе руки.

[@LabRazum]

Отличная идея, но иногда конкретно в этом алгоритме, распознавание слегка «пляшет» относительно небольшой погрешности, то есть при малейшей неточности, вас это будет сильно раздражать)

[@mr-grey4135]

@@LabRazum уверен, что это можно устранить на уровне программного кода примерно также, как устраняется дребезг контактов...))

[@TheDryundel]

Ардуино привязано к проекту как бантик к хвосту лошади. Процессу не мешает, но телегу везти не помогает.

[@LabRazum]

Переходите на LPT-порт :)

[@КириллКалита-ч3ж]

Хороший ролик, спасибо!

[@КонстантинВоробьев-ф4ф]

Ну, вааще ! КРУТО !!!

[@alexcorvis3206]

1:00 - "Создаём нейронную сеть" Тарик Рашид.

[@Данилов-с1м]

Круть!

[@darkbunny188]

Ооооо спасибо !! 🔥

[@armendanielyan7193]

Супер , спасибо

[@polotenchik-hihihaha]

Очень круто !!!

[@Мерзость]

Где новые ролики? 😢 хотелось бы увидеть похожие только например на модулях esp cam и похожих.

[@DAVRON97]

Лайк за информативное видео

[@andreypupkin848]

И в правду магия