Vision Pro Своими Руками! || Дешёвый AR проект || Оптимизация, конфигуратор, экран - Апрель 2024

[@denispologrudov9545]

Как вывод- чувак с Ютуба 1) Уже исправил ситуацию с 3 рукой которая есть у вр шлема за 800к. 2) делает стереозрение которые НЕ реализовано на коммерческих моделях вр 3) Полностью открытый код для доработок Красавчик 🎉

[@kampot_vkusna6761]

вы бы разобрались с ситуацией 3 рук... это происходит если 1 из твоих ладоней пропадает из поля зрения камер

[@user-izolbuj]

андроид это тот же linux можно на android поставить чистый linux для arm с дравами под устройство. Драйвера устанавливаются легко, их можно взять из android прошивки телефона

[@kampot_vkusna6761]

@@user-izolbuj бред

[@kampot_vkusna6761]

@@user-izolbuj если андроид запускается на ядре лини кастомном, это не значит что андроид это линь

[@followtheripper]

​@@kampot_vkusna6761тем не менее бинарник пайтона под андроид завезли

[@AndrewAL_family]

я молодец 😎 такой вклад внёс, даже непривычно слышать себя на ютубе

[@DezerQ]

Сигма

[@AndrewAL_family]

@@DezerQ Я не сигма, Я 🤫🧏🏿

[@MrGhust-xm2bu]

🌂👎

[@lefleffy]

Sigma👓

[@microblackgolub2542]

Это ты подарил флешку типо?

[@DiamorRed]

+ [00:00:00]**Проект Vision Pro** * Пятая серия разработки AR очков * Обновления по железу и софту * Оптимизация для работы под 30 FPS + [00:02:34]**Операционные системы и код** * Переход на родную ОС бортового компьютера * Код работает как обычный Python код * Добавлена поддержка разных камер + [00:04:24]**Разработка приложений** * Сложности с созданием приложения на телефон * Использование веб-сервера на Flask * Планы по созданию базового интерфейса + [00:06:28] **Оптимизация и исправления** * Оптимизация кода и исправление ошибок * Ускорение метода наложения изображений * Планы по дальнейшей оптимизации до 30 FPS

[@aligo9537]

Удачи в развитии проекта

[@tim101r]

Я сейчас занимаюсь чем то схожим но по части дизайна я связал себе ремешок для вр как у apple vision и как найду резинку я распечатаю механизм затягивания.Я 3д моделирование занимаюсь 3 года и вязать умею более менее.Сам ремешок уже готов

[@protot1pe]

Ура я этот видос ждал как никогда!

[@Vorono4ka]

Радует, что код улучшается! По поводу смены драйверов и настройки камер советую использовать такой паттерн, как стратегия. Это позволит сильно облегчить изменения в коде

[@Benpro109]

Успехов в проекте!

[@cotulars]

Бро, проект очень крутой, но я думаю нужно быть прагматиком и понимать что это не уровень питона, т.к. чем больше у тебя будет натива тем быстрее всё будет работать. Как прототип на питоне это классно, но когда вы будете переходить к реальным продуктам или хотя бы к бете я бы советовал что то низкоуровневое и нативное, например c++ и c, c# сюда не относится т.к. он конечно быстрее питона но опять же таки это та же виртуальная машина как на жабе. А так желаю удачи в вашем проекте! Очень классный, буду следить и возможно в будущем стану небольшим спонсором;)

[@makarY202]

Спасибо за проект

[@andgames5482]

Так держать, продолжай 👍👍

[@Kirana_nit]

Удачи тебе в создании! Мы верим что ты справишься:>

[@MozIx256]

*созДании

[@Kirana_nit]

@@MozIx256 спасибо, я не заметила:)

[@babagi_m]

Чаёк, пирожок и твое видео=❤

[@zaeczoom9612]

ураураураура, новое видео от самого умного блогера)

[@Mikail0.0001]

кааайф новое видео))) кста ты очень интересный тебя приятно смотреть

[@ЕгорГоренюк]

Как всегда интересно, удачи, жду новых видео

[@milfab]

Чел реально харош желаю тебе добиться успехов

[@daniilpr7437]

Надо 100% Юнити использовать, там это не только проще сделать, так тебе и просто безграничные возможности по красивому интерфейсу

[@sergey2455]

Очень нравится эта рубрика😅

[@cripperfunny6664]

у меня был белый gear vr и samsung s6 edge. когда подключаешь его к вр, там появляется меню окулус с браузером, разными играми и т.д. И да, там есть функция просмотра с камеры, но ар нет (как я помню)

[@kadzuto6]

Приятно следить за ходом истории

[@ultimate_fish16]

Ура, новая серия

[@YUZAH1]

Урааааа 5 часть❤

[@СтепанСмирнов-ф9щ]

Почему не хочешь расчертить пространство по секторам програмно по квадратам сделать накладку на палец с ик диодом и взаимодействовать с этой сеткой без скана пространства?

[@Garry_Li]

8:20 ну ребят это же не серьезно, все спецификации давно естьв интернетах а вы пальцами тыкайте, очевидно что одна это только камера для цвета и картинки, остальные используются для глубиы, видно на этих кадрах что глубина есть и картинки из глаз отличаются

[@zernovtech]

Нам это просто не нужно) Это выяснили случайно. Остальные там не совсем для глубины, ИК камеры.

[@microblackgolub2542]

Блин, тебе бы на 3д принтере корпус распечатать

[@lumiholoxr]

Для более лучшего трекинда рук, можно попробовать использовать leap motion, посути дела обычная вебка, но достаточно хорошо отслеживает руки

[@argenalmaz00]

Привет!,Можеш зделать мини видео разработка приложения для ваше Vision Pro )

[@Rivy560]

О новая часть, кстати мне тут недавно в голову пришла одна идея прикольная. А что если сделать преобразователь голоса в реальном мире. То есть что бы ты сам смог выбрать себе голос. И даже пришел в голову механизм устройства. Голос подается в микрофон, из микрофона в нейросеть, которая преобразовывает этот голос и выводит на динамик. В качестве носителя нейросети может выступать телефон, но у меня слишком мало денег что бы этот проект в реальность воссоздать. Поэтому на будущее если этот проект тебя заинтересовал можешь попробывать сделать

[@Layfet]

Обожаю этот канал

[@MalblyTriambicheskijIkosaedr]

Вспомнил, есть же линукс для телефонов, но он дико древний. Эх, если бы его можно было как-то освежить и работать уже на нём...

[@denatle]

Разве андроид не базируется на линуксе? Или не то?

[@denatle]

Окей, досмотрел видос. Есть открытый андройд. С рут правами тоже не хватит?

[@MalblyTriambicheskijIkosaedr]

@@denatle да, так и есть, но он сделан для обычных пользователей, поэтому его решили сделать более закрытым, чтоб неопытный юзер не убил устройство в первый день пользования

[@MalblyTriambicheskijIkosaedr]

@@denatle я не в курсе, не разбираюсь. Просто вспомнил о существовании других мобильных ос

[@ДС-01ДенисВасютяк]

1) Для того чтобы убрать рамки в браузере можно использовать режим киоска (Kiosk Mode); 2) Для увеличения fps используя opencv лучше убрать буферизацию кадров. Таким образом и уменьшится задержка между реальными движениями и изображением в шлеме.

[@zernovtech]

Тааак. Нормальные советы подъехали, однако. 1) где этот режим включается? 2) буфферизация кадров это встроенная штука cv2, или это то, когда между операциями в коде мы сохраняем картинку в переменную?

[@ДС-01ДенисВасютяк]

1) Можна скачать прогу с Play Market 2) Буферизация в самой либе, если хочеш убрать задержку между операциями, тогда испульзуй асинхронное програмирование. Но лутше розбить все на потоки. В пайтоне есть GIL, но можна сделать псевдо потоки через либу. И еще можна через много задачность, прога тогда разабьотся на отдельние процеси і будет исполнятса в разних ядрах проца (но ето нужно настроить)

[@foksela1940]

Надеюсь скоро сделайте!

[@tim101r]

Возможно странное предложение но что если использовать к в вижен про два процессора один для трекинга и один для запуска программ.

[@62Shz88er]

А что на счет jni и использования нативного с++ кода на ведроиде?

[@IamDimon1]

Афигеть ждал сильнее чем свой др

[@EnJoyTheVR]

Привет! Я тут тоже что-то похожее делаю :D

[@justsamp9006]

бро, может можно как то интегрировать в софт шлема что-то на подобии lossless scalling?

[@thecatbars]

А че если для трекинга использовать еще одну камеру?

[@Belg-videogames]

Здравствуйте, а планируете дли вы сделать программу для трансляции VR по типу RiftCat это было бы супер, так как все существующие программы тормозят... (у меня Meizu mx5)

[@moxa_rumin]

Может быть покажусь глупым, Но задам вопрос в 201-ый раз: почему нельзя накатить на Samsung s8 Linux и проводить вычисления на нем

[@Впоискахживотных-э2н]

А что если сделать VR пространство но оно будет работать только в определенных местах и когда камера заметит стены, полки и т.д. тогда она будет их показывать.

[@takiz2018]

Android написан на Java, по этому можно очень просто написать приложение на java, в android studio есть все инструменты чтобы получить изображение с flack

[@FreskoDesigner]

Напиши автору😊

[@НаильИсаев-у8и]

Если любишь меня,в следующем видео скажи «здравствуйте товарищи»

[@ganlong9285]

Можно было использовать 6dof систему через arcore что бы отслеживалась голова

[@ilyajoglik8229]

Вк это конечно круто, но очень хотелось бы телеграм групу, более международную площадку

[@Runic_Play]

Люди:Купить мне apple vishion pro или нет ? Zernov:сделаю свой apple vishion pro

[@zernovtech]

Современные проблемы - современные решения )

[@shimanalexov]

Можно перепрошить телефон на Linux

[@Lego_planet]

Все я поставил каментарий и написал лайк

[@roma9169]

Могу помочь в написании интерфейса или даже приложения на мобилу на python

[@romankunakof]

привет, а сходка в екб будет?

[@kawasaki4112]

пишу второй раз, замени телефон на lcd матрицу, на али их куча, 2к, 4к любое разрешение. Это будет более быстрее чем передавать изображение на смартфон, так же не надо будет писать приложение

[@zernovtech]

Если честно я не нашёл. Скинь пожалуйста ссылку. Или код какой-нибудь.

[@kawasaki4112]

@@zernovtech 3 попытка ответить комментарии с линком удаляются. Магазин называется wisecoco

[@imp0ssibl333]

Слушай, как тебе идея, чтобы сделать модуль для питона, который использует ускоренные функции С++? То есть код будет писаться в питоне, но он будет реально компилироваться и исполняться на С++, что ускорит код во много раз. Так как тебе идея? В ближайшем хочу такое запилить

[@zernovtech]

Идея суперкрутая, но мне такое не удалось. Если сможешь - дай знать

[@tim101r]

Можно ещё mojo попробовать он почти как питон только со скоростью c++

[@happyminecrafterlive1483]

Советую попробовть сервис ai2 та можно замусить видиопоток с сервера ну или с браузера

[@pilid1337]

В теории можно же собрать кастомное ядро для телефона с поддержкой дров для камер и через рут получать доступ к этим девайсам 🤔

[@zernovtech]

В теории. На практике на это уйдет больше времени (значительно больше), чем на линуксовый комп)

[@chelic-creeper]

обязательно надо будет использовать этот телефон?

[@shefishefo8707]

Уже очень скоро

[@drindurin]

ура круто ура

[@reHgoc]

мне кажется, что пайтон не совсем тот инструмент, который необходим для таких задач

[@korm3671]

1 камера с линзой 0.5 разделить на 2 глаза

[@randomlbpstuff241]

Софт по геар вр уже был от самсунг И есть приложение cardboard для телефона и кардборда

[@Набойченко]

Так, я так понимаю уже запускаете мини вставку вопрос - ответ, поэтому хочу задать свои: Есть ли у тебя какое-то образование? Мб курсы? Канал на ютубе? Книга? Интересно было бы узнать твои рекомендации, тем кто хочет заниматься подобным Есть ли проекты после этого, какие-то идеи/наработки? Ну и участвовал ли ты когда-нибудь в геймджеме?

[@zernovtech]

Привет! Отвечу здесь, если ты не против. Я ещё учусь. Был на курсах 1Т. Канал - моя вторая площадка после ВК, где я уже пару лет публикую техно-статьи. Рекомендации две - не сдавайтесь и ставьте всё более глобальные цели. Проекты были, есть и будут. Просто этот взлетел. Наработок море. В геймджемах не участвовал, как и в хакатонах.

[@Набойченко]

@@zernovtech спасибо за ответ 🙃

[@AvitoBot]

Лайк

[@Zerck_razoblocheteli]

Уаааа видео 🙃🙂 уаааааа

[@murakat1792]

Делаем вывод. Использовать программу для монтажа в браузере, не лучшая идея. И не ожидал под конец увидеть Unity. (Слова NAMEUwU)

[@AlbertWow]

Братан можешь завершать разработку meta выпустила horizon OS в общий доступ. И теперь каждый может себе такой шлем сделать 😊

[@zernovtech]

HOS выпустили в доступ для партнёров и под определённое железо :)

[@AlbertWow]

@@zernovtech но все же рентабельность проекта ну никакая. Даже если предположить что ты сделал железо хотя опять же оно реально слабое что бы тянуло трекинг то oc написать ну вряд ли сможешь. Ибо тебе нужно будет брать ядро линукса подключать framework и потом еще оптимизировать под железо. Честно не думаю что проект подойдет к стадии завершения

[@zernovtech]

@@AlbertWow Спасибо за критику.

[@Maxdavs]

Так вот кто делает российскую игровую консоль!)

[@zakidish]

Харош, проу только не выгори

[@ArthyProjects]

Конечно у пико 4 будет одна камера, самый дешевый шлем на рынке, да и вообще он не под ар. Честно, не представляю, что выйдет из вашего проекта, ведь без трекинга в пространстве вообще как-то ни о чем, цели существования данного устройства не нахожу 30 fps - просто погибель для вестибуллярки НО Следить за вашим проектом реально интересно, ведь ничего подобного ещё не видел. Желаю вам удачи в развитии проекта.

[@zernovtech]

Пико действительно не для AR. Из проекта выйдет лайтовая штука за десять тысяч, которая умеет показывать разные приложеньки. Трекинг в пространстве тут и не нужен, ибо комп не потянет 3Д. 30 fps - это максимальный фреймрейт камер Pico/oculus. Спасибо за обратную связь!

[@GeGi228]

а ведь ты реально гений, рано или поздно тебе стоит открыть компанию которая будет разрабатывать вр приблуды ( у тебя правда талант )

[@ValeGoG]

10/10

[@Fermi_Official]

Привет

[@denatle]

Хехе, может на расте переписать?

[@zernovtech]

Добыть бы на раст трекинг нормальный...

[@denatle]

@@zernovtech медиапайп имеется

[@zernovtech]

@@denatle Опа... Тяжело... Может и перепишем. А оно сильно быстрее питона?

[@denatle]

@@zernovtech хз, но процессинг имгов и тд будет гораздо быстрее. Я потом распишу тикет в дискорде по поводу, у меня много мыслей

[@crash706]

урррррваакаааа видео

[@ZyreXvx]

Мужик... Кто ты есть...

[@GangstaWair]

С каких пор С# ниже по уровню чем Python, ахаха, просто ладно😂

[@zernovtech]

Да, кстати, ляпнул чушь Сишка ваще со своей виртуалкой. Наверное я имел ввиду скорость. Или перепутал с плюсами, сам хз.

[@GangstaWair]

@@zernovtech плюсы самый быстрый язык, пайтон тормознутый и медленный, поэтому и тут ты мимо)

[@zernovtech]

@@GangstaWair Ещё раз. Python высокоуровневый и медленный C# - виртуалка C++ - низкоуровневый и быстрый В чем мимо то? Не сказал бы, что C# более низкоуровневый чем питон, но он медленнее плюсов, потому что виртуалка. А плюсы быстрые и низкоуровневые, но жестокие с памятью

[@GangstaWair]

@@zernovtech во, это я тоже имел ввиду...Думал ты адепт Пайтона и прославляешь этот язык ( таких шизиков много )

[@Huananzhi_russian]

Мне кажется мало демонстраций возможностей проека 🎉

[@zernovtech]

Былоб больше - показал бы больше) Пока на коде зациклены :(

[@Huananzhi_russian]

@@zernovtech так, то что не сложно реализовать но интересно смотреть. Например вместе с калькулятором реализовать сапёра

[@Fermi_Official]

Вообще, андроид - это дистрибутив Линукса

[@zernovtech]

Да! Но более закрытый, потому что линукс - открытое ядро, а андройд - операционка под управлением Google :)

[@followtheripper]

Там в андроид такая прослойка Java что не совсем дистрибутив линукса(

[@Fermi_Official]

Ясненько

[@cyberwick837]

та скажи пусть тебе деньги на криозаморозку скинут, в 2080 закончишь проект

[@def0ult_]

Низкое качество картинки, маленький fov, дёрганый трекинг, плохое вырезание рук, низкий фпс Продолжать стоит? Не защищаю эпл, но это бред, а не замена

[@zernovtech]

Привет! Спасибо за критику, мы ценим это!

[@shipa_2]

а что если переложить всё кроме передачи картинки на внешний сервер в виде пк? >очки подключатся к серверу >передают картинку с камер >получают картинку с сервера итого нет лимитов по мощности, не надо использовать дополнительные компьютеры на лице, и дольше живёт повербанк

[@zernovtech]

Ага, и огромные задержки :D