Как распознавать жесты и управлять Arduino - Компьютерное зрение (OpenCV и MediaPipe)

В этом видео мы объединим Arduino с компьютерным зрением (OpenCV). За буквально 15 минут мы получим управление светодиодной лентой при помощи жестов вашей руки. Сделаем так, чтобы один палец управлял яркостью ленты, два - цветом, ну а другие жесты - всем, что вам придет в голову.
Ссылка на страницу проекта: edu.labrazum.ru/cv-arduino/
------------------------------------------------------------------------------------
Группа ВК: lrazum
Страница автора в Instagram: / viktor_osin_
------------------------------------------------------------------------------------
0:00 - Начало
0:32 - О нейронных сетях
1:12 - OpenCV и MediaPipe
2:01 - Адресная лента
2:25 - О программе и комплектующих
4:49 - Подключение веб-камеры
5:28 - Распознаём руки
6:12 - Работа с отдельными точками
6:39 - Отправка координат точки в Arduino
7:48 - Подключение ленты и настройка Arduino
9:19 - Учитываем только поднятый палец
9:53 - Добавление других жестов
10:56 - Пример использования компьютерного зрения
11:23 - Заключение

[@LabRazum]

Видео, на которое ушло ~20 моих вечеров, но я очень доволен :) Версии библиотек, которые использовались в видео: Python 3.9 Mediapipe 0.8.9.1 Pyserial 3.5 Opencv 4.5.5.62 0:32 - О нейронных сетях 1:12 - OpenCV и MediaPipe 2:01 - Адресная лента 2:25 - О программе и комплектующих 4:49 - Подключение веб-камеры 5:28 - Распознаём руки 6:12 - Работа с отдельными точками 6:39 - Отправка координат точки в Arduino 7:48 - Подключение ленты и настройка Arduino 9:19 - Учитываем только поднятый палец 9:53 - Добавление других жестов 10:56 - Пример использования компьютерного зрения 11:23 - Заключение

[@lordfire9608]

Огромное спасибо! Оно того стоило! Завидую тем пацанам, которым посчастливилось заниматься в вашем кружке (если занятия ещё не прекратились)! Звук обалденный, подача доступная. Очень рад, что есть целое сообщество таких " онлайн Преподавателей".

[@LabRazum]

@@lordfire9608 спасибо, рад, что оценили! Занятия в школе продолжаются :)

[@anton.prohvost]

Виктор, это замечательно! 👍🏼 Подписался на канал с первых кадров. Доступно, грамотно, корректно, интересно, полезно, красиво, приятно смотреть. Спасибо Вам большое за Ваши труды!🙏🏼Вы молодец!🤝👍🏼

[@Mathandmore]

Спасибо за видео! Как раз у меня Pi3 есть, вот насчет камеры, обычная камера с подключением через USB порт подойдет?

[@LabRazum]

@@Mathandmore да, подойдёт

[@currentdraft6754]

Прекрасная подача материала!!! Видно, что за кадром была проделана большая работа. По уровню доступности для начинающего ничего лучше не видел! Всего одним видеороликом вы многократно понизили порог вхождения одновременно сразу в несколько очень важных (на первый взгляд разрозненных) тем, объединив всё это в единый лаконичный и законченный проект. По сути, вы внесли очень большой вклад в будущее развитие и расширение комьюнити, а это важнее всего! Лайк и подписка!

[@LabRazum]

Благодарю, рад, что вам понравилось!

[@currentdraft6754]

@@LabRazum Раз уж вы начали, то, думаю, стоит продолжить тему компьютерного зрения в связке с ардуино. Тем более что многим "эта магия" не просто интересна, но и принесет большую практическую пользу, так сказать поднимет ардуино самоделки на новый уровень! У вас талант объяснять довольно сложные вещи очень простыми и наглядными вещами. Есть несколько уроков из интернета по которым начинал учиться сам с нуля и которые в дальнейшем помогли сделать манипулятор с настоящим компьютерным зрением (можно на него глянуть у меня на канале). Эти уроки (их немного) совсем небольшие, относительно просты и наглядны. Может быть у вас получится их переработать, сделать ещё более доступный материал (чем в них самих), собрать ещё один интересный и познавательный проект (как в этом видео)?! Возможно вы с ними знакомы, но всё же... На сайте robotclass*ru они немного хаотично разбросаны и не сразу ищутся, надо там в поиске вбить opencv. Пытался вставить прямые ссылки на уроки (их всего 7), но видимо ютуб не позволяет это делать в комментариях (удаляет их).

[@LabRazum]

@@currentdraft6754 спасибо, да, видел эти уроки, подумаю над продолжением, если будут желающие

[@RussianSkeeper]

@@LabRazum Желающие очень даже будут.

[@user-xg8gn6yb9g]

Супер! Очень доходчиво про распознавание жестов. Вижу множество применений, где в умном доме нельзя шуметь или наоборот много посторонних шумов и голосовые команды не распознаются. А так же там, где например нужно нажать кнопки, но нельзя прикасаться, потому что руки грязные или наоборот, нужно сохранить стерильность.

[@LabRazum]

Отличные примеры, спасибо!

[@user-zv5ve7gi7o]

Анимация протокола обмена на бумажках на нитке - огонь! Улыбнуло! Благодарю за видео.

[@igorkolesnikov1596]

Какой божественный контент. Однозначно подписка. Спасибо! Развития каналу!

[@iqubik]

Очень и очень и очень цельно и круто. Взял лучшее от Гайвера, лента, сложность и полные материалы. Красавец! Мое уважение

[@learner4143]

Огонь! Качество, подача, материал - спасибо!

[@user-sx1dd5hf3u]

Отличное видео. Всё по делу. Натолкнул на более простую реализацию своей давней задумки. Спасибо!

[@AVit77]

Очень хорошо снято! Ну и тема интересная. Спасибо!

[@vittaphoto]

Ооо, это прекрасно. И монтаж, и код, и пианино. Я восхищаюсь

[@korobok1st]

супер! спасибо большое! я например могу теперь управлять скоростью насоса (давлением) в система водоснабжения дома! очень здорово, что есть такие люди!

[@user-rp3kl8gz1n]

Это нечто, успехов Вам, продолжайте, Вы на правильном направлении

[@user-kpinf]

Замечательно! Вы не останавливаясь продвигаете будущих авторов мира будущего. И судя по всему Вам это в кайф. Успехов Вам!

[@almaz1502]

К счастью, мир может быть не только техногенным

[@sauvignonblanc5086]

Креативный подход к созданию видеоконтента 😎👍🏼🍿 Спасибо)

[@MrArtyomle]

Отличный контент. Отдельная благодарность за локаничность!

[@Fly-24]

Дана из лучших подача материала, спасибо Вам.

[@vannadij]

офигенная штука!! я давно искал контент такого направления

[@sergeitannenberg503]

Отличное видео, доступная и приятная подача, спасибо!

[@auyezove]

Отличная работа! Примеры просто супер

[@user-wp3oq3ez8n]

Очень качественный контент, прошу, не пропадайте!

[@timurg3865]

привет. - похоже война внесла коррективы.... будь она проклята. МИРУ МИР !

[@220UP]

Офигеть! Круто смонтировано и легко смотрится!

[@oleggulyakov2718]

Завидую умным людям😐. Очень интересный проект. Удачи вам и всего хорошего.

[@SmD_Amir_]

Отличный материал, спасибо за видео!😍

[@user-fw6fh4jp2z]

Это лучшее что я видел за последние время!

[@RomanKnabengof]

Обалдеть, Виктор Это очень круто

[@nicktriada1]

Подписался сразу на второй минуте просмотра, это лучший контент по теме который я видел!!!!

[@AndrewPstvt]

Потрясающе, никогда не видел настолько понятной и качественной подачи материала. Очень интересно👍

[@almaz1502]

Прям настолько потрясающе? А что, вы собственно поняли из видео если отбросить всю мишуру. Сможете повторить? Конечно не сможете, потому что это видео не обучающее. На обучающих видео не пишут код с такой скоростью. А так... посовенькое (качественный монтаж, озвучка, афоризмы) видео для контента

[@AndrewPstvt]

@@almaz1502 Как минимум простоту реализации казалось бы сложного проекта. Ролик является наглядной визуализацией полезной и статьи, так что нет смысла писать в реальном времени. Кроме того автор лично сказал, что в статье все куски кода прокомментированы.

[@RussianSkeeper]

@@almaz1502 Код приложен - можно разобраться неспеша. А вы что сказать хотели-то?

[@Uroboross8]

Потрясающе!

[@user-ms7lx5ew7k]

Круто. Очень доступно. Однозначно подписка

[@activedrive8310]

Очень круто!!! Интересно, доходчиво. Спасибо!

[@kosmos8460]

Спасибо вам Виктор очень интересный и необычный крутой проект 👍

[@evkud1]

Здорово. Теперь понятно как это работает. Спасибо.

[@user-fz5ym3wv1e]

Супер подача материала !

[@klinnoff]

Подача просто супер!

[@_kornev]

Супер, очень доходчиво!

[@Diogenov1]

Благодарю! Очень интересно!

[@JonizDoc]

Очень интересно . Спасибо за объяснение

[@yuriybaranovskiy9642]

очень доходчиво,хорошо умеешь объяснять!

[@igorkroshkin9354]

офигенно. лайк. подписка :)

[@pan_electric]

Благодарю за видео. Желаю тебе здоровья и благополучия. Пишу это так как ели выжил после ковидом и сегодня первый день как дома после 9 дней в больнице пролежал и сейчас с кислородом. Привет тебе и твоим подпишиком с Греции

[@LabRazum]

Благодарю, вам скорейшего выздоровления!

[@dfcf7555]

очень хороший ролик. и сделан очень приятно 👍

[@Mrdmitriy24]

Классное видео, автор молодец!

[@user-sf9nn6dh2q]

Хороший ролик, спасибо!

[@creativefamily6704]

ОООООчень понравилось! Спасибо! С меня лайк и подписка однозначно! Можно не видимый кодовый замок сделать подошёл к двери и на ней как на клавиатуре нажал код не касаясь двери но в поле камеры. Просто доступно с меня подписка! Даже в голову не кому не прейдёт что хата таким образом с охраны снимается.

[@user-yy9ii9rt1s]

Спасибо. Весьма интересное видео.

[@antient_atlas]

Твоё видео великолепно

[@viktorvoinov8349]

Больше подобных проектов! :-)

[@user-wu4gf4ys8g]

Это офигенно))

[@user-ow1he8qm2h]

Круто! Респект!:)

[@dobriychel7584]

Очень круто. Необычно. Для ардуинщиков прям свежий впрыск адреналина, жаль пайтон я не знаю.

[@LabRazum]

На самом деле очень легкий язык, гораздо легче С++

[@user-xg8gy4nr2e]

Ну, вааще ! КРУТО !!!

[@chrisn.6760]

Для глухонемых это программа супер. Таким образом можно переводить их разговор

[@DimPyProg]

Топчик👍

[@tsibulsky4900]

Круто , спасибо 👍😊

[@user-tj1qd4cw1q]

Крутая задумка.

[@darkbunny188]

Ооооо спасибо !! 🔥

[@user-ge5ng7ns1d]

Очень круто !!!

[@user-lw4zn6fk7z]

Качественный материал, грац. В топ

[@Rus_slan]

Очень зачётный труд. Как говорится ни...я не понятно, но очень интересно😂. Жаль что не встретил раньше.

[@baboon_hero]

Круто!

[@Ardbot]

Спасибо, интересное видео. Может будет полезно для будущих разработчиков метавселеной)

[@user-vg5bv9ke3q]

У квеста уже есть хэнд трекинг

[@user-wl7xr2mr9j]

господи, спасибо за это видео. это оч. классное объяснение. Я пытаюсь сделать водяную турель

[@user-zm9fh6ft1i]

Очень интересно, как Ардуино и питон совмещаются. Пример шикарный! Побольше подобных проектов! В данном случае самое простое одноцветную светодиодную подсветку сделать с регулировкой яркости в режиме таноса, пальцами). И кстати для перехода в режим управления надо жест или положение пальцев специфическое ввести, чтобы просто болтая руками яркость не менялась как получится

[@LabRazum]

Отличная мысль по поводу жеста для активации, в принципе, если пойти ещё дальше, можно даже сделать "меню" из жестов и добавить жесты для принятия и отмены)

[@user-zm9fh6ft1i]

@@LabRazum меню из жестов можно, но чем больше жестов, тем выше вероятность непроизвольно их воспроизвести. На мой взгляд самое устойчивое ввести жест для перехода в режим регулировки, моргнуть в ответ светодиодами, настроить яркость и через несколько секунд выход из режима настройки, может тоже с морганием, чтобы было ясно, что поздняк метаться уже😄. Но если с разными жестами, так познавательнее будет зато, в качестве примера😉

[@user-nq3lk7ei7j]

Круть!

[@DAVRON97]

Лайк за информативное видео

[@user-pl2ue6ds2r]

Очень хорошо 👍

[@Heron31415]

с пианиной зачет!

[@MrMrbelik]

На 5 минте я понял сколько было проделано работы. Одназначно лайк и подписка

[@alnibl]

Класс! Все четко и понятно! Отдельное спасибо за Порнофильмы в конце! ;)

[@user-pu1tm9gt3h]

Спасибо! Очень классно👍 Планируете ли Вы уроки по обучению с подкреплением?

[@akmiable]

Красавчик!

[@eloversclub]

Спасибо! Круто! Можно сделать виртуальную гитару) Но подобные задачи, естественно с определенными ограничениями, уже можно решать на одном микроконтроллере, например - kendryte k210.

[@armendanielyan7193]

Супер , спасибо

[@RoboTron_Channel]

Это образец, как надо делать видео уроки!

[@dimarusful]

Интересная вещь это программирование, питон с новыми библиотеками ваше крутой, жаль, что я все равно его не осилю, когда доходит до сложных задач))

[@Egor_ZDE]

Интересненько! Рад, что на канале появляются новые качественные видосики) взял вот, клип скучающих пересмотрел. Как там дела с обучением ребятишек?)

[@LabRazum]

Всё хорошо, пока учимся, опасаясь повторения ковид-ограничений)

[@user-jc8vp6ht5l]

Куда Вы пропали?

[@vadimkuldim6450]

Классный перевод от интуса

[@user-gl6tb1jb4o]

мощь!

[@user-lo2ny5ek5q]

Супер

[@andrey_pav]

вот это уровень! порог входа в компьютерное зрение резко упал и можно вкатываться. спасибо Вам за такой подарок.

[@otsy7947]

порок? ))))

[@andrey_pav]

@@otsy7947 исправил (

[@Ilya_Smurygin]

11.18 респект!! Я то же с этой композиции тащусь!! С работы еду, у меня плохое настроение!! Врубаю фильмы!! И вот оно!!)

[@amigo...007]

Приветствую...Очень понравилась подача материала ..не спеша с расстановкой и подробностями...Я бы это наверно применил для робота с интеллектуальным зрением когда надо дать команду не голосом а рукой....Как раз такой проект и собираюсь строить... Да я так понимаю эти же библиотеки приемлемы и для СТМ32....

[@Ache17013]

Красиво

[@user-sv3nh8go9d]

Мега крутой видос, жаль что так мало человек оценило:( Сделай ещё что нибудь простенькое для новичков на контролере, с подробным пояснением кодинга)

[@LabRazum]

На самом деле для моего скромного канала по этому видео супер показатели, лайк поставил каждый 9-й зритель (хотя я об этом не стал просить в видео), чему я очень рад)

[@user-sv3nh8go9d]

@@LabRazum вчера случайно наткнулся на ваш канал, и был приятно очень удивлен!) С товарищами сейчас занимаемся ровно тем, что и вы несколько лет назад ( в более скромных масштабах конечно) - небольшая лаборатория для свободного технического творчества студентов. Ваш опыт о котором вы рассказываете в видео очень полезен, спасибо!

[@Kod_and_Provoda]

Красава

[@user-pm3hw6tn7c]

Супер! Это отличная система для диджеев. Мало того что зажигаешь народ на веселье, так ещё жестами можешь отдавать простые каманды светомузыке в зале! Поднял руку, показал жест 🖖 а светомузыка убавила яркость и сменила ритм на романтический медляк. Показал жест 🤘вспыхнули прожектора, замелькала яркими огнями танц плащадка клуба! Применение безгранично! Хоть управление бытавыми приборами, ткнул пальцем в сторону телика, он включился, крутанул палец в сторону окна, открылись шторы! Кондиционер, кофеварка, будильник, и тд. и тп. Вот вам умный дом! Короче вы ограниченны только своей фантазией.

[@refreshingscience2026]

Просто бомба. Лайк вполне заслуживает. Но почемуто людям жалко

[@user-xs3jz2wb1u]

мне очень понравилось

[@skazki_na-noch]

жостка )))

[@user-sg2hx1vr9q]

дабл лайк за мелодию в конце!

[@andreypupkin848]

И в правду магия

[@user-ss9kx8xm9g]

прикольно. ....

[@user-mo4pe7gr1e]

Чел ты гений

[@blackfear6765]

дайте мне белые крылья), отличное видео👍

[@Ray.wp.]

через тернии, провода... :)

[@andrewkopchegashev9937]

Хочу сделать в комнате светильник а ля GLADOS. Чтоб он поворачивался в сторону двери, когда кто-то заходит. А далее следил за лицом человека и не спускал с него взгляд😅 начинаю учить машинное зрение. Спасибо за видео!

[@user-hd7hq4lf4y]

Отличный пример. НО для связи компьютера и ленты я бы порекомендовал например ESP-01, тем более, что для него есть почти готовые блоки на Али, остается лишь подпаять защитный резистор и вперед - командовать лентой (или не лентой)

[@LabRazum]

Да, я показал лишь принцип, а так хоть две ардуины и радиопередатчик

[@None-om7cm]

Buen!

[@AlexLink-rb5by]

Круто .. Можно задавать пароль рукой(жестами) перед дверью без замка(скрытый электро замок).

[@user-jr6ue7rk9p]

Наращивается возможность управлять в виртуальной реальности. Я, как электрик, вижу, что для успешной работы нужна визуальная плоскость, расположение рук не выходящее за пределы плоскости (рабочий диапазон), и явное указание параметра. Например, с помощью рук управлять громкостью). Применительно к вашему ролику, можно было клавиатуру сделать виртуальную))

[@LabRazum]

На 4:00 минуте разве не то, о чем вы говорите? :)