Сделал Apple Vision Pro своими руками || Дешёвый AR проект - Май 2024.

Господа, здравия! На ваших глазах уже 6-ая серия цикла видео о том, как я создаю очки дополненной реальности с нуля на Python. В этой части я покажу фактически готовые очки, расскажу про обновления.
Оценивайте видео, пишите что вы об этом думаете и приятного просмотра!)
Код как всегда на гитхабе github.com/ZernovTechno/AR_he...
Мой Boosty (Донаты) - boosty.to/zernov
Мой VK - zernovyt

[@backtower9930]

интересно наблюдать за проектом который так быстро развивается

[@user-ys6cu8ld1v]

Ну кстати неплохо получилось. Обидно, конечно, за малую функциональность. Да и вряд ли это можно использовать больше, чем просто развлечение Но проект классный! Продолжай в том же духе!

[@zernovtech]

Спасибо за обратную связь! Функциональность на данный момент реально не высокая. Со временем я добавлю ключевые фичи как просмотр видео (В т.ч и пространственного-объемного) и браузер. Это вопрос времени. Просто сейчас контент нужно разбавить другим проектом. p.s. VR и AR гарнитура в 90% случаев - развлечение :-)

[@bread29]

я в истории

[@Grey_Slime]

🎉

[@SERJEO_777]

и я

[@boyanovich68]

С 1 выпуска😎

[@NoN-me]

А я на истории

[@Falkonar]

​@@NoN-me Пляхахаха

[@SleepAndNoMore]

Крассавчик! Только единицы готовы стараться ради людей и прислушиваться к из мнению, а не ради быстрого заработка на огромной наценке за воздух. Ты стал одним из моих любимых блогеров!

[@user-qk8mj9eb5q]

Лютый чел, как разраб с опытом говорю, ты просто хорош

[@zernovtech]

Спасибо)

[@AlihanToleuov]

Надеюсь всё получится ❤ Смотрю с первой части 😊

[@MrD1mon]

Очень круто получается! Единственный контент как-либо связанный с Vision Pro который я готов смотреть)❤

[@Narezchik_cheeeek]

Предлагаю сделать дешёвые VR очки (но когда проекты кончатся конечно) С контролеррами и т.п, думаю будет интересно. Спасибо за видос!

[@wertko]

Жду. Когда проект будет закончен соберу себе такие же очки! Удивлён результатом ❤.

[@swaperman]

Красавчик! Удачи в этом и новом, во всех новых проектах!

[@zernovtech]

Спасибо!)

[@user-vn5qd3mf9b]

Продолжай развиваться! С каждой серией все интереснее!

[@zernovtech]

Спасибо!

[@frozermBH]

Удачи в проекте :з

[@hfgfhghgf]

🎉🎉🎉 новая серия

[@-_termit_-3530]

Ты просто нереальный... Я тобой горжусь, брат!

[@markus_49]

Как большой любитель космоса, я очень заинтересован в новом проекте. Желаю удачи в обоих проектах!

[@zernovtech]

Спасибо )

[@SystemTraveler]

я думаю что тут стоит развивать API для создания приложений. Это было бы классно

[@user-ut4es8we4o]

Идеи крутейшие🔥🔥🔥

[@ilusha_k]

Боже самое интересное что я видел за этот год продолжай!

[@antonrakete7331]

видос как всегда пушка!

[@rttty8487]

Очки выходят очень хорошо, тем более за такое время 👍, попробуй добавить, аля самому написать голосового помощника типа чат гпт (это можно добавить в конце), например для задач по типу: просто по общться, поспросить включить приложение а может и поставить таймер или будильник. И кстати не сдавайся, все у тебя выйдет✊

[@andgames5482]

Ваууууу, очень классно получается

[@zernovtech]

Спасибо)

[@babagi_m]

как всегда на высоте

[@zernovtech]

Спасибо)

[@Kapipastik]

Кадровый трекинг просто ПУШКА !

[@LemonBS]

Опа, новая часть🎉

[@t0povi]

Тоооооооооооооп если, сейчас такое то не могу представить себе что будет через год ❤❤❤

[@user-wl6rq4de4g]

Интересные у тебя планы по роботу🤯

[@zernovtech]

Да я сам в шоке

[@Skeleton3595]

как уруто мне очень нравится ❤ я нигде не видел похожего проекта

[@blinchegg3806]

Ура 2 часть

[@EvgeRick]

Когда-то и меня вела дорога амбиций, но потом я повзрослел… Удачи тебе, ты как минимум уже хороший ютубер

[@zernovtech]

Ахаха, мир жесток 🙂 Спасибо за поддержку!

[@murmanskcity6664]

огонь ты супер!!

[@Flatron_0]

Ура новое видео гения

[@lesha957]

Я посмотрел все видео, ия могу сказать что это САМЫЙ не душный ютубер по сборке всякого

[@Rylonbi]

Ну ты реально хайп❤

[@user-vl4tr8hf1z]

Ты этот, лучше не разрывайся на два проэкта, шансы выгореть увеличиваються в разы, а так, желаю чтобы твой проект развивался и ты вместе с ним!

[@zernovtech]

Я наоборот с очками больше выгораю, они для меня трудны в разработке) Хочу переключиться на что-то более приятное лично для меня.

[@fey_karmen]

Ты крут!))

[@zernovtech]

Спасибо)

[@user-ec5jx9el2x]

это очень круто!!!!

[@somich5330]

ОЧЕНЬ хороший проект с ар очками.Прошу не заканчивай проект. Ведь это большой шаг для человечества. Если у тебя все будет получаться с проектом, то можно будет сделать свой товар с ар очками и идти вместе крупными брендами как Meta и Apple. Ведь у нас нету отечественных разработчиков для создания таких вещей чтоб все знали о нас. И если бы твой товар с ар очками был доступен по цене каждому человеку, то каждый бы ходил в твоих очках и это бы заметили бы другие пользователи из других стран и начали тоже покупать твой продукт)❤

[@zernovtech]

Спасибо за обратную связь, очень приятно. Проект я не заканчиваю, просто он немного поднадоел) Тема АР только развивается, и в списке гарнитур я если что не потеряюсь :)

[@user-tg7iu5ig6o]

Аоаоао,ты мне заметил и сказал товарищи

[@globalmerts]

Молодец!

[@Maxtenoy]

Советую делать 2 части видео. Первая часть с результатами, а вторая часть с водой, то есть с объяснением того что ты делал

[@OximixS]

Привет, спасибо за видео. И еще, ставь музычку на фон, чтобы не было так однообразно=)

[@pico_956..9]

согл

[@zernovtech]

Привет! Спасибо за обратную связь. Не знаю... Возможно позже попробую. Пока мотивчика подходящего не нашёл :)

[@t_reztsov]

Лучше ненадо чтоб в очередной период обострения не поблокировали видео изза музыки.

[@zernovtech]

@@t_reztsov Кстати да, с этим нынче строго.

[@KaneScripter]

Хочется, чтобы меня заморозили и разморозили, когда этот проект будет уже в релиз версии) оочень интересно к чему это всё приведёт) И маленькая поправка: ты путаешь функционал с функциональностью. Функционал - математическая функция, а как раз функциональность - это набор функций и возможностей системы/приложения/устройства

[@boombox_ru7748]

Красавчик, ты сможешь допилить, а на основу может народ подтянется, и будут делать тебе проги)

[@Pon4kgame]

Ты про сто сумашедший ты в историе ❤❤❤

[@XxRenoOfficialxX]

Хай!Переделываю немного дизайн твоего проекта а также добавляю приложухи (пока делаю только дизайн) планирую сделать магазин приложений.Желаю удачи в развитии проекта! Изменено:откуда стока лайков?!

[@zernovtech]

Привет! Круто! Напиши мне в вк (В описании есть), поскидывай фоточки, я с радостью посмотрю :) ps. можешь форк на гитхабе создать, я привяжу его к своему p.p.s Спасибо за пожелания, тебе тоже удачи!

[@Kirana_nit]

Новое прекрасное видио

[@parada1se]

код я писал сам следующее предложение: я использовал нейронку😂😂

[@zernovtech]

Ахахах) Нейронка мне лишь помогала. Моё написание кода выглядит так: сделал что-то работающее, скормил нейронке, получил ответ в виде слегка оптимизированного/упрощенного кода и вставил его в свой код. И проверил, не сломалось ли ничего.

[@batters_line3889]

Давай изображение не будет накладываться только если расстояние от руки меньше или равно, а если рука дальше чем изображение то просто накладывать

[@Xfell-fw6fb]

Ты пробовал использовать внешний контролер (типо Ардуино) и датчик жестов PAJ7620?

[@lexer0000]

Если такие очки будут в продаже я буду первым покупателем))

[@The_Wii_sreamer]

Интересно, есть ли возможность сделать динамическое расширение?

[@whiteflamewbf]

очень класно , я бы вообще кайфанул если бы ты смог написать что нибудь , что бы можно было мобилу прикрутить как вр шлем

[@batters_line3889]

Давай будут только три кнопки (через пальцы) указательный+большой = клик, указательный+средний = 2 кнопка, указательный+безымянный= меню очков

[@ayni9]

Банально, но вынужден сказать это - если ты хочешь хорошую производительность на плохом железе питон не твой вариант, пиши на си

[@leonid6985]

интересно, спасибо, а про подвеску - вопрос дискуссионный, много зависит от веса робота и мест его поездок.

[@zernovtech]

А тут больше вопрос образа марсохода:) Подвеска rocker boogie, не секрет.

[@ewgeniy111]

о опять новый и интересный видос)

[@zernovtech]

Приятного просмотра :D

[@ewgeniy111]

@@zernovtech спасибо )

[@vladisslaff]

Добавить бы в эту штуку голосовое управление...

[@Begulafanmadebro]

Бро ты заслуживаешь больше 4 к подписчиков

[@zernovtech]

Конечно! Я заслуживаю как минимум 5к подписчиков, и это уже доказано )

[@Maksimka-TV]

Вот он, ютубер мечты.

[@IvanEng747]

Какие датчики imu вы используете?

[@MrEnstab_]

Попаду ли я в историю большого открытия и проекта? Думаю да)

[@Sky_Bread]

лучше не распыляйся, допилить проект с "шлемом" хорошая идея

[@zernovtech]

А я и не распыляюсь. Шлем всем надоедает, на одни только просмотры роликов глянуть. Да и фактически я его уже допилил.

[@nakurenyytrap]

Однако не плохо

[@aleksandr-tl2gn]

Не знаю на сколько хорошая идея, но что если использовать для трекинга модуль тепловизионной камеры (я понимаю что это увеличит стоимость проекта но все же) по мимо отслеживания рук можно ещё сделать приложение которое будет накладывать картинку с тепловизора на картинку с камер, мне кажется было бы интересно

[@zernovtech]

Тепловизор технически трудно подключить к проекту, но помимо этого он имеет слишком низкое разрешение для таких задач (32x24) и плохой угол обзора.

[@pudgiest_hedgecock]

Вместо pillow можно и ffmpeg напрямую юзать для наложения. Может кратно быстрее работать

[@zernovtech]

Хм... Спасибо за совет, рассмотрим)

[@GameSuper-il9hh]

Я советую тебе сделать самодельные кантролеры (хоть какие то) и steam vr сможет пойти с браузероми

[@jaminojujanja3738]

Интерфейс то хоть будет размещатся в пространстве? Можно ли будет таскать его с собой как в квесте, или он просто всегла будет висеть у тебя перед глазами?

[@zernovtech]

3dof. Висит в пространстве вокруг шлема, однако на диване не застывает.

[@Mikail0.0001]

урааааааааа новое видео

[@vse.yadniy]

дезайн имба

[@7n_semka]

Был тут до 5000 подписчиков

[@zernovtech]

Я тоже)

[@user-se6om7jm8p]

Ураа🎉

[@mikhalovv]

до миллиона

[@user-wl6rq4de4g]

Стоит ли покупать все комплектующие для ар очков или лучше подождать еще?😅

[@zernovtech]

А сейчас код почти полностью унифицирован, там вариантов сборки несколько десятков. Любые камеры (только не VHS, умоляю), любые телефоны и любые очки. Микрокомпьютер лучше пока не покупать :) Рекомендую взять любую вебку, любой VR шлем для телефона и попробовать. Если зайдёт - потом докупить что-то покруче, например самсунг S8.

[@zaeczoom9612]

у этого проекта есть хорошие шансы))

[@barmalej4ik70]

12 мая 2024 года я был тут

[@user-vn6dt5wd4f]

А ты можешь скачать туда браузер для скачивания приложений и смотреть какие нибудь сайты

[@Runic_Play]

Молодец

[@zernovtech]

( ^ ω ^)

[@qa337]

Изначально брать Python и ждать скорости работы ну такое ) Нужно было Golang брать, там порог входа не высок при этом можно писать очень быстрый код.

[@zernovtech]

Не спорю, но на Golang вряд ли есть готовые решения для трекинга рук.

[@ValeGoG]

10/10

[@neolight5421]

Слушайте, конечно хорошо что вы вдохновляетесь apple vision pro, но как выглядят руки в ui оставляет желать лучшего, может взять способ отрисовки рук как у meta quest 2/3, там поверх руки рисуется виртупльная тень, выглядит это хорошо и лаконично, попробуйте

[@zernovtech]

В этом есть доля правды. Однако то, что я показал возникло из за хренового освещения, и так-то они на UI нормально накладываются. Но тема реализации наложения как в квестах не сложная, я думаю, я добавлю её как опцию) Спасибо за совет!

[@dedm0zaj]

прикольно. а где 6dof отслеживание, чтобы интерфейс оставался в пространстве? )))

[@zernovtech]

6dof никогда и не было заявлено. Даже так, я в первом ролике сказал, что 6dof точно не будет. 3dof будет, но попозже.

[@dedm0zaj]

@@zernovtech ок

[@sergeyshukhyan]

Я был тут 12-ого мая 2024-ого года!

[@reimus839]

Даже я человек не разбирающися в кодинге и вот этом всём вашем программистском. Знаю одну вещь если хочешь принять душ лучше использовать не шланг а лейку с кучей дырок (сорян за сравнительный каламбур) Почему бы не сделать несколько ядер? Одно отвечает за обработку трекинга рук и отрисовку интерфейса, другой за анимки и прочее если разбить всё на несколько ядер так и нагрузка спадёт и мне кажется можно будет более гибко настраивать и на много проще!

[@zernovtech]

1. Python язык однопоточный. 2. В Python есть такая штука - GIL, блокиратор интерпретатора 3. Даже сейчас я использую "иллюзию" многопоточки - библиотека Threading, которая разбивает код на потоки. Я бы мог использовать Multiprocessing, однако в ней большие проблемы с обменом данными, но да - там обход GIL есть.

[@Mr.Sergoo]

❤

[@kyb2023]

Планируешь сделать трекинг очков?

[@zernovtech]

В пространстве? Нет. Только по пространству вокруг, как в шаре.

[@kwerpyyhoxtop]

Почему хорошие разработчики не додумывается делать типо панели на Виар, т.к сейчас на Виар шлемах есть кнопка для нажимания

[@Metod364]

тоооооп

[@user-fl2eu2kx6m]

Извините за вопрос, возможно это говорилось в прошлых видео но можно ли использовать камеру телефона?

[@user-vl4tr8hf1z]

Это вроде во втором-третьем видосах

[@user-vl4tr8hf1z]

Либо четвёртом

[@user-vl4tr8hf1z]

Кароч, сначала посмотри, многое теряешь:)

[@MakFunGames]

Здравствуйте! Не могли бы вы подсказать как запустить программу как отдельное окно? Заранее благодарю!

[@zernovtech]

Здравствуйте! С недавнего момента эта функция отключена, однако Вы можете создать запрос в разделе issues на гитхабе с такой просьбой, где Вам помогут с запуском программы в отдельном окне. Также напомню, что сейчас всё работает через браузер, и посмотреть на вывод программы можно через него.

[@MakFunGames]

@@zernovtech спасибо

[@roma9169]

Привет, смогу ли я поучаствовать в новом проекте как python разработчик, или ты собираешься делать его один?

[@zernovtech]

Да сможешь конечно. Пиши в вк :)

[@frimeex615]

Приветствую, а что за смартфон используешь, я забыл, смотрю каждое видео. Ты говорил что андроид не жружелюбная система но на некоторые смартфоны можно ставить линукс. Правда софт придется оптимизоровать и менять под арм проц. Я так то не сильно в этом разбираюсь и думаю эта идея наоборот сделает хуже, но это всего лишь идея. 😅

[@frimeex615]

А нет эта идея не очень так как он вроде может отказаться работать с Самсунг Гир

[@zernovtech]

Я использую Samsung s8 + GearVr + одноплатник + sony ps hd camera :)

[@frimeex615]

@@zernovtech понял, спасибо

[@merk_merk]

А ты вырезание рук делаешь через нейросеть ?

[@zernovtech]

Ну да,mediapipe)

[@merk_merk]

@@zernovtechа ну ладно

[@frozermBH]

Что за трек в конце?

[@zernovtech]

Горе-музыкант - Этот Трек Тебе Не Понравится 2.0 (kzbin.info/www/bejne/aoepaKysat2igNU) Зайди по ссылке, поддержи девочку, реально классные треки :)

[@Ankor_Tundish]

возможна ли добавление более 3 камер? Например 4-6 штук (ну вдруг кому-нибудь понадобься )

[@zernovtech]

Да, конечно, но пока такой функции в проекте нет.

[@user-rm7jw8pb2c]

Хорошо хоть не js но тут бы что-то помощнее было бы лучше мне кажется

[@zernovtech]

Вполне возможно.. Плюсы или раст например. Я на ЖС не пишу :)

[@killercat6786]

Почему бы не использовать управление внутренней часью ладони? Оно, конечно, менее интуитивно и удобнее(хотя, этот пункт относительный. Если привыкнуть, то очень даже ничего. Да и вопросы с клавиатурой остаются), но дает ряд преимуществ(отсутствие необходимости в вырезании ладони и явное "включение" режима работы с юаем)

[@zernovtech]

Управление внутренней частью ладони очень удобно. И лучше работает с обрезанием фона. Просто повелось так в мире, что управляют тыльной частью, "от себя"

[@esenindan]

Добро пожаловать в ROS комьюнити)))))

[@zernovtech]

Хехе) Да, есть немного

[@seljaie]

А можно-ли перенести этот код на с++ илн апример rust

[@zernovtech]

Нет ничего невозможного. Но это не в моих интересах.

[@user-wl6rq4de4g]

Что за музыка в конце видео?😅

[@zernovtech]

Горе-музыкант - Этот Трек Тебе Не Понравится 2.0 (kzbin.info/www/bejne/aoepaKysat2igNU) Зайди по ссылке, поддержи девочку, реально классные треки :)

[@Nikitashow12355]

Мне интересно как квест 2 на мобильном железе отлично отслеживает руки и даже в играх можно использовать

[@zernovtech]

Квест два на другом языке написан явно не на питоне, создан огромной группой разработчиков из запрещённой в России организации. Не говоря уж, что он напихан кучей камер, стоит 299 долларов и обладает специальным процессором для виртуальной реальности - Snapdragon XR2.

[@Nikitashow12355]

@@zernovtech может добавить в ваш проект ИИ процессор за 2-3 тысячи который будет руки обрабатывать, все что связано с жестами и вырезать руки на фоне приложений?

[@zernovtech]

@@Nikitashow12355 Этот ИИ процессор ещё и подключить надо.А так у нас есть NPU, но всё настолько сложно, что не ясно, есть ли в этом смысл?