Vision Pro Своими Руками! || Дешёвый AR проект || Оптимизация, конфигуратор, экран - Апрель 2024

[@denispologrudov9545]

Как вывод- чувак с Ютуба 1) Уже исправил ситуацию с 3 рукой которая есть у вр шлема за 800к. 2) делает стереозрение которые НЕ реализовано на коммерческих моделях вр 3) Полностью открытый код для доработок Красавчик 🎉

[@kampot_vkusna6761]

вы бы разобрались с ситуацией 3 рук... это происходит если 1 из твоих ладоней пропадает из поля зрения камер

[@user-izolbuj]

андроид это тот же linux можно на android поставить чистый linux для arm с дравами под устройство. Драйвера устанавливаются легко, их можно взять из android прошивки телефона

[@kampot_vkusna6761]

@@user-izolbuj бред

[@kampot_vkusna6761]

@@user-izolbuj если андроид запускается на ядре лини кастомном, это не значит что андроид это линь

[@followtheripper]

​@@kampot_vkusna6761тем не менее бинарник пайтона под андроид завезли

[@AndrewAL_family]

я молодец 😎 такой вклад внёс, даже непривычно слышать себя на ютубе

[@DezerQ]

Сигма

[@AndrewAL_family]

@@DezerQ Я не сигма, Я 🤫🧏🏿

[@MrGhust-xm2bu]

🌂👎

[@lefleffy]

Sigma👓

[@microblackgolub2542]

Это ты подарил флешку типо?

[@DiamorRed]

+ [00:00:00]**Проект Vision Pro** * Пятая серия разработки AR очков * Обновления по железу и софту * Оптимизация для работы под 30 FPS + [00:02:34]**Операционные системы и код** * Переход на родную ОС бортового компьютера * Код работает как обычный Python код * Добавлена поддержка разных камер + [00:04:24]**Разработка приложений** * Сложности с созданием приложения на телефон * Использование веб-сервера на Flask * Планы по созданию базового интерфейса + [00:06:28] **Оптимизация и исправления** * Оптимизация кода и исправление ошибок * Ускорение метода наложения изображений * Планы по дальнейшей оптимизации до 30 FPS

[@aligo9537]

Удачи в развитии проекта

[@НаильИсаев-у8и]

Если любишь меня,в следующем видео скажи «здравствуйте товарищи»

[@tim101r]

Я сейчас занимаюсь чем то схожим но по части дизайна я связал себе ремешок для вр как у apple vision и как найду резинку я распечатаю механизм затягивания.Я 3д моделирование занимаюсь 3 года и вязать умею более менее.Сам ремешок уже готов

[@cotulars]

Бро, проект очень крутой, но я думаю нужно быть прагматиком и понимать что это не уровень питона, т.к. чем больше у тебя будет натива тем быстрее всё будет работать. Как прототип на питоне это классно, но когда вы будете переходить к реальным продуктам или хотя бы к бете я бы советовал что то низкоуровневое и нативное, например c++ и c, c# сюда не относится т.к. он конечно быстрее питона но опять же таки это та же виртуальная машина как на жабе. А так желаю удачи в вашем проекте! Очень классный, буду следить и возможно в будущем стану небольшим спонсором;)

[@Vorono4ka]

Радует, что код улучшается! По поводу смены драйверов и настройки камер советую использовать такой паттерн, как стратегия. Это позволит сильно облегчить изменения в коде

[@Runic_Play]

Люди:Купить мне apple vishion pro или нет ? Zernov:сделаю свой apple vishion pro

[@zernovtech]

Современные проблемы - современные решения )

[@daniilpr7437]

Надо 100% Юнити использовать, там это не только проще сделать, так тебе и просто безграничные возможности по красивому интерфейсу

[@EnJoyTheVR]

Привет! Я тут тоже что-то похожее делаю :D

[@sergey2455]

Очень нравится эта рубрика😅

[@Kirana_nit]

Удачи тебе в создании! Мы верим что ты справишься:>

[@MozIx256]

*созДании

[@Kirana_nit]

@@MozIx256 спасибо, я не заметила:)

[@protot1pe]

Ура я этот видос ждал как никогда!

[@IamDimon1]

Афигеть ждал сильнее чем свой др

[@makarY202]

Спасибо за проект

[@Rivy560]

О новая часть, кстати мне тут недавно в голову пришла одна идея прикольная. А что если сделать преобразователь голоса в реальном мире. То есть что бы ты сам смог выбрать себе голос. И даже пришел в голову механизм устройства. Голос подается в микрофон, из микрофона в нейросеть, которая преобразовывает этот голос и выводит на динамик. В качестве носителя нейросети может выступать телефон, но у меня слишком мало денег что бы этот проект в реальность воссоздать. Поэтому на будущее если этот проект тебя заинтересовал можешь попробывать сделать

[@kadzuto6]

Приятно следить за ходом истории

[@ДС-01ДенисВасютяк]

1) Для того чтобы убрать рамки в браузере можно использовать режим киоска (Kiosk Mode); 2) Для увеличения fps используя opencv лучше убрать буферизацию кадров. Таким образом и уменьшится задержка между реальными движениями и изображением в шлеме.

[@zernovtech]

Тааак. Нормальные советы подъехали, однако. 1) где этот режим включается? 2) буфферизация кадров это встроенная штука cv2, или это то, когда между операциями в коде мы сохраняем картинку в переменную?

[@ДС-01ДенисВасютяк]

1) Можна скачать прогу с Play Market 2) Буферизация в самой либе, если хочеш убрать задержку между операциями, тогда испульзуй асинхронное програмирование. Но лутше розбить все на потоки. В пайтоне есть GIL, но можна сделать псевдо потоки через либу. И еще можна через много задачность, прога тогда разабьотся на отдельние процеси і будет исполнятса в разних ядрах проца (но ето нужно настроить)

[@ЕгорГоренюк]

Как всегда интересно, удачи, жду новых видео

[@milfab]

Чел реально харош желаю тебе добиться успехов

[@lumiholoxr]

Для более лучшего трекинда рук, можно попробовать использовать leap motion, посути дела обычная вебка, но достаточно хорошо отслеживает руки

[@babagi_m]

Чаёк, пирожок и твое видео=❤

[@zaeczoom9612]

ураураураура, новое видео от самого умного блогера)

[@Benpro109]

Успехов в проекте!

[@MalblyTriambicheskijIkosaedr]

Вспомнил, есть же линукс для телефонов, но он дико древний. Эх, если бы его можно было как-то освежить и работать уже на нём...

[@denatle]

Разве андроид не базируется на линуксе? Или не то?

[@denatle]

Окей, досмотрел видос. Есть открытый андройд. С рут правами тоже не хватит?

[@MalblyTriambicheskijIkosaedr]

@@denatle да, так и есть, но он сделан для обычных пользователей, поэтому его решили сделать более закрытым, чтоб неопытный юзер не убил устройство в первый день пользования

[@MalblyTriambicheskijIkosaedr]

@@denatle я не в курсе, не разбираюсь. Просто вспомнил о существовании других мобильных ос

[@Mikail0.0001]

кааайф новое видео))) кста ты очень интересный тебя приятно смотреть

[@foksela1940]

Надеюсь скоро сделайте!

[@microblackgolub2542]

Блин, тебе бы на 3д принтере корпус распечатать

[@cripperfunny6664]

у меня был белый gear vr и samsung s6 edge. когда подключаешь его к вр, там появляется меню окулус с браузером, разными играми и т.д. И да, там есть функция просмотра с камеры, но ар нет (как я помню)

[@Lego_planet]

Все я поставил каментарий и написал лайк

[@takiz2018]

Android написан на Java, по этому можно очень просто написать приложение на java, в android studio есть все инструменты чтобы получить изображение с flack

[@FreskoDesigner]

Напиши автору😊

[@andgames5482]

Так держать, продолжай 👍👍

[@ilyajoglik8229]

Вк это конечно круто, но очень хотелось бы телеграм групу, более международную площадку

[@YUZAH1]

Урааааа 5 часть❤

[@shefishefo8707]

Уже очень скоро

[@СтепанСмирнов-ф9щ]

Почему не хочешь расчертить пространство по секторам програмно по квадратам сделать накладку на палец с ик диодом и взаимодействовать с этой сеткой без скана пространства?

[@thecatbars]

А че если для трекинга использовать еще одну камеру?

[@argenalmaz00]

Привет!,Можеш зделать мини видео разработка приложения для ваше Vision Pro )

[@ultimate_fish16]

Ура, новая серия

[@Belg-videogames]

Здравствуйте, а планируете дли вы сделать программу для трансляции VR по типу RiftCat это было бы супер, так как все существующие программы тормозят... (у меня Meizu mx5)

[@kawasaki4112]

пишу второй раз, замени телефон на lcd матрицу, на али их куча, 2к, 4к любое разрешение. Это будет более быстрее чем передавать изображение на смартфон, так же не надо будет писать приложение

[@zernovtech]

Если честно я не нашёл. Скинь пожалуйста ссылку. Или код какой-нибудь.

[@kawasaki4112]

@@zernovtech 3 попытка ответить комментарии с линком удаляются. Магазин называется wisecoco

[@62Shz88er]

А что на счет jni и использования нативного с++ кода на ведроиде?

[@tim101r]

Возможно странное предложение но что если использовать к в вижен про два процессора один для трекинга и один для запуска программ.

[@romankunakof]

привет, а сходка в екб будет?

[@chelic-creeper]

обязательно надо будет использовать этот телефон?

[@Layfet]

Обожаю этот канал

[@justsamp9006]

бро, может можно как то интегрировать в софт шлема что-то на подобии lossless scalling?

[@imp0ssibl333]

Слушай, как тебе идея, чтобы сделать модуль для питона, который использует ускоренные функции С++? То есть код будет писаться в питоне, но он будет реально компилироваться и исполняться на С++, что ускорит код во много раз. Так как тебе идея? В ближайшем хочу такое запилить

[@zernovtech]

Идея суперкрутая, но мне такое не удалось. Если сможешь - дай знать

[@tim101r]

Можно ещё mojo попробовать он почти как питон только со скоростью c++

[@Maxdavs]

Так вот кто делает российскую игровую консоль!)

[@Впоискахживотных-э2н]

А что если сделать VR пространство но оно будет работать только в определенных местах и когда камера заметит стены, полки и т.д. тогда она будет их показывать.

[@ganlong9285]

Можно было использовать 6dof систему через arcore что бы отслеживалась голова

[@Garry_Li]

8:20 ну ребят это же не серьезно, все спецификации давно естьв интернетах а вы пальцами тыкайте, очевидно что одна это только камера для цвета и картинки, остальные используются для глубиы, видно на этих кадрах что глубина есть и картинки из глаз отличаются

[@zernovtech]

Нам это просто не нужно) Это выяснили случайно. Остальные там не совсем для глубины, ИК камеры.

[@moxa_rumin]

Может быть покажусь глупым, Но задам вопрос в 201-ый раз: почему нельзя накатить на Samsung s8 Linux и проводить вычисления на нем

[@ArthyProjects]

Конечно у пико 4 будет одна камера, самый дешевый шлем на рынке, да и вообще он не под ар. Честно, не представляю, что выйдет из вашего проекта, ведь без трекинга в пространстве вообще как-то ни о чем, цели существования данного устройства не нахожу 30 fps - просто погибель для вестибуллярки НО Следить за вашим проектом реально интересно, ведь ничего подобного ещё не видел. Желаю вам удачи в развитии проекта.

[@zernovtech]

Пико действительно не для AR. Из проекта выйдет лайтовая штука за десять тысяч, которая умеет показывать разные приложеньки. Трекинг в пространстве тут и не нужен, ибо комп не потянет 3Д. 30 fps - это максимальный фреймрейт камер Pico/oculus. Спасибо за обратную связь!

[@AvitoBot]

Лайк

[@pilid1337]

В теории можно же собрать кастомное ядро для телефона с поддержкой дров для камер и через рут получать доступ к этим девайсам 🤔

[@zernovtech]

В теории. На практике на это уйдет больше времени (значительно больше), чем на линуксовый комп)

[@Zerck_razoblocheteli]

Уаааа видео 🙃🙂 уаааааа

[@drindurin]

ура круто ура

[@korm3671]

1 камера с линзой 0.5 разделить на 2 глаза

[@Набойченко]

Так, я так понимаю уже запускаете мини вставку вопрос - ответ, поэтому хочу задать свои: Есть ли у тебя какое-то образование? Мб курсы? Канал на ютубе? Книга? Интересно было бы узнать твои рекомендации, тем кто хочет заниматься подобным Есть ли проекты после этого, какие-то идеи/наработки? Ну и участвовал ли ты когда-нибудь в геймджеме?

[@zernovtech]

Привет! Отвечу здесь, если ты не против. Я ещё учусь. Был на курсах 1Т. Канал - моя вторая площадка после ВК, где я уже пару лет публикую техно-статьи. Рекомендации две - не сдавайтесь и ставьте всё более глобальные цели. Проекты были, есть и будут. Просто этот взлетел. Наработок море. В геймджемах не участвовал, как и в хакатонах.

[@Набойченко]

@@zernovtech спасибо за ответ 🙃

[@murakat3351]

Делаем вывод. Использовать программу для монтажа в браузере, не лучшая идея. И не ожидал под конец увидеть Unity. (Слова NAMEUwU)

[@zakidish]

Харош, проу только не выгори

[@reHgoc]

мне кажется, что пайтон не совсем тот инструмент, который необходим для таких задач

[@happyminecrafterlive1483]

Советую попробовть сервис ai2 та можно замусить видиопоток с сервера ну или с браузера

[@shimanalexov]

Можно перепрошить телефон на Linux

[@roma9169]

Могу помочь в написании интерфейса или даже приложения на мобилу на python

[@ValeGoG]

10/10

[@Fermi_Official]

Привет

[@crash706]

урррррваакаааа видео

[@randomlbpstuff241]

Софт по геар вр уже был от самсунг И есть приложение cardboard для телефона и кардборда

[@GeGi228]

а ведь ты реально гений, рано или поздно тебе стоит открыть компанию которая будет разрабатывать вр приблуды ( у тебя правда талант )

[@AlbertWow]

Братан можешь завершать разработку meta выпустила horizon OS в общий доступ. И теперь каждый может себе такой шлем сделать 😊

[@zernovtech]

HOS выпустили в доступ для партнёров и под определённое железо :)

[@AlbertWow]

@@zernovtech но все же рентабельность проекта ну никакая. Даже если предположить что ты сделал железо хотя опять же оно реально слабое что бы тянуло трекинг то oc написать ну вряд ли сможешь. Ибо тебе нужно будет брать ядро линукса подключать framework и потом еще оптимизировать под железо. Честно не думаю что проект подойдет к стадии завершения

[@zernovtech]

@@AlbertWow Спасибо за критику.

[@ZyreXvx]

Мужик... Кто ты есть...

[@cyberwick837]

та скажи пусть тебе деньги на криозаморозку скинут, в 2080 закончишь проект

[@GangstaWair]

С каких пор С# ниже по уровню чем Python, ахаха, просто ладно😂

[@zernovtech]

Да, кстати, ляпнул чушь Сишка ваще со своей виртуалкой. Наверное я имел ввиду скорость. Или перепутал с плюсами, сам хз.

[@GangstaWair]

@@zernovtech плюсы самый быстрый язык, пайтон тормознутый и медленный, поэтому и тут ты мимо)

[@zernovtech]

@@GangstaWair Ещё раз. Python высокоуровневый и медленный C# - виртуалка C++ - низкоуровневый и быстрый В чем мимо то? Не сказал бы, что C# более низкоуровневый чем питон, но он медленнее плюсов, потому что виртуалка. А плюсы быстрые и низкоуровневые, но жестокие с памятью

[@GangstaWair]

@@zernovtech во, это я тоже имел ввиду...Думал ты адепт Пайтона и прославляешь этот язык ( таких шизиков много )

[@Fermi_Official]

Вообще, андроид - это дистрибутив Линукса

[@zernovtech]

Да! Но более закрытый, потому что линукс - открытое ядро, а андройд - операционка под управлением Google :)

[@followtheripper]

Там в андроид такая прослойка Java что не совсем дистрибутив линукса(

[@Fermi_Official]

Ясненько

[@Huananzhi_russian]

Мне кажется мало демонстраций возможностей проека 🎉

[@zernovtech]

Былоб больше - показал бы больше) Пока на коде зациклены :(

[@Huananzhi_russian]

@@zernovtech так, то что не сложно реализовать но интересно смотреть. Например вместе с калькулятором реализовать сапёра

[@denatle]

Хехе, может на расте переписать?

[@zernovtech]

Добыть бы на раст трекинг нормальный...

[@denatle]

@@zernovtech медиапайп имеется

[@zernovtech]

@@denatle Опа... Тяжело... Может и перепишем. А оно сильно быстрее питона?

[@denatle]

@@zernovtech хз, но процессинг имгов и тд будет гораздо быстрее. Я потом распишу тикет в дискорде по поводу, у меня много мыслей

[@def0ult_]

Низкое качество картинки, маленький fov, дёрганый трекинг, плохое вырезание рук, низкий фпс Продолжать стоит? Не защищаю эпл, но это бред, а не замена

[@zernovtech]

Привет! Спасибо за критику, мы ценим это!

[@shipa_2]

а что если переложить всё кроме передачи картинки на внешний сервер в виде пк? >очки подключатся к серверу >передают картинку с камер >получают картинку с сервера итого нет лимитов по мощности, не надо использовать дополнительные компьютеры на лице, и дольше живёт повербанк

[@zernovtech]

Ага, и огромные задержки :D