Drive better gameplay experiences on user devices with AI | GDC 2024

EDIT: Missing in the video at [02:08]: example use case for context here is “Speech-to-text”.
In this session, we show how Sentis brings new game features to life with simple AI model integration, as well as some exciting integrations with Hugging Face, the largest hub for AI models. Three demonstrations along with detailed technical explanations include an indie developer using hand gesture detection, a new way to build training board game opponents, and a cute story generated with language and text-to-speech models in real-time. The presenters also share the latest innovations from the team to make Sentis a performant and easy-to-use inference tool in Unity 6.
Learn more about Unity Sentis: unity.com/sentis
Speakers:
Bill Cullen, Principal Product Manager AI (Unity)
Alexandre Ribard, Lead Staff Engineer AI (Unity)
#unity #gamedev #madewithunity #ai #unity6

[@infiniteland.1442]

What percentage of Unity users do you estimate will adopt this technology? Is it worthwhile for the team to invest their time in this particular model of work, especially when it lacks substantial feedback from the community? It seems more beneficial to prioritize improving existing tools or developing new ones that address pressing needs. Many of Unity's current tools require enhancements to become more user-friendly and ultimately contribute to creating visually stunning games. While creating new tools has its merits, dedicating significant resources to them might not be prudent for a large team, especially considering that the adoption of these tools for game development may still be in its early stages.

[@freddyready8756]

Some tools are just that, tools. Do hate the gimmicks and trends in AI content. Some is worth it, if done locally, reduce tasks, how is it to train and use, or to control or tie with other behaviours/game systems? Do dislike some of this content could be for the business side of unity of data collection be it for ads, etc.

[@natsunwtk]

To think this channel have so many supposed to be useful but not as good as it supposed to. And also have potential to stimulate many potential games by making courses for various of full game making and let people learned for free then let them use the engine to create many good games later (because you just teach them the useable skills but their are more advanced by other people who making courses) then your engine would be more popular and successful. Instead of wasting it like all these years.

[@cepreupupkin2218]

Пересказ нейросетью YandexGPT: Drive better gameplay experiences on user devices with AI | GDC 2024 00:07 Введение в нейронный движок Cis • Обсуждение использования искусственного интеллекта в играх и его преимуществ. • Примеры использования Cis в Unity: распознавание речи, создание неигровых персонажей, оценка глубины и другие. 01:06 Преобразование речи в текст • Демонстрация работы Cis в Unity для преобразования речи в текст. • Примеры использования Cis для распознавания жестов, оппонента в настольной игре и генерации хранилища. 05:02 Интеграция Cis в Unity • Получение модели ИИ или обучение самостоятельно. • Преобразование модели в формат файла Onyx и импорт в Unity. • Интеграция сетевых входов и выходов в игровой код C. 06:37 Усовершенствования Cis • Добавление тега Unity Cis в репозитории моделей. • Создание курсов по машинному обучению для игр. • Экспорт моделей из PyTorch в формат, совместимый с Unity. 10:18 Квантование и оптимизация памяти • Экономия памяти до 75% при квантовании модели. • Подводные камни: качество и производительность могут варьироваться. 13:10 Распознавание жестов в игре • Игра "Плинио" от студии Sea Fortress. • Использование жестов рук вместо контроллеров. • Решение: обнаружение рук с помощью моделей Google Media Pipe, расчет не максимального подавления для улучшения производительности. 19:25 Генерация историй • Побочный проект: обучение модели для игры в го. • Модель может анализировать состояние игры и выбирать лучшие ходы. 20:17 Использование искусственного интеллекта для настольных игр • В видео демонстрируется использование искусственного интеллекта для настольных игр, где ИИ выбирает лучшие ходы и взаимодействует с игроком. • ИИ также может давать забавные цитаты и насмешки в зависимости от игрового процесса. 23:07 Реализация ИИ в карточной игре • В видео показано, как ИИ был добавлен в карточную игру, где он может использовать магические правила для взаимодействия с игроком. • Модель ИИ была разработана и протестирована на ПК, с производительностью около 4 миллисекунд на процессоре. 25:05 Реализация ИИ в магазине • В видео демонстрируется, как ИИ может вдохновлять рассказчика на создание истории, взаимодействуя с различными объектами в магазине. • ИИ работает в фоновом режиме, не влияя на игровой процесс. 29:05 Оптимизация производительности ИИ • В видео обсуждаются оптимизации производительности ИИ, включая объединение слоев и оптимизацию операций. • В результате оптимизации производительность ИИ улучшилась, что позволило использовать его в более широком спектре игр. 30:04 Оптимизация производительности языковой модели • В видео обсуждаются две оптимизации, которые были проведены для языковой модели: свертывание слоев и оптимизация вывода модели. • Свертывание слоев позволяет ускорить работу модели, а оптимизация вывода модели позволяет выполнять вычисления за кадром и не прерывать работу графического процессора. 31:48 Оптимизация производительности техасской речевой модели • В видео также обсуждается оптимизация производительности техасской речевой модели, которая включает разделение модели на две части и асинхронное считывание выходных данных. • Это позволяет увеличить производительность на 50%. 34:05 Разделение времени и квантование модели • В видео объясняется, как разделение времени и квантование модели могут быть использованы для повышения производительности на мобильных устройствах. • Однако, качество модели может быть не на должном уровне, и производительность может быть эффективной, но не на должном уровне для более навороченных моделей.

[@JamesGretz]

Loads of new features, but the day Unity will focus more on graphics, or to be more specific, Real-time lighting and shaders especially in URP as well, it will be a breakthrough. Just imagine there has been no proper Subsurface scattering shader yet in URP and not everyone wants to switch to HDRP just for a few features that are very possible but lacking in URP, for example why not just implement realtime-raytracing in URP once if an equivalent to Unreal's Lumen is not yet possible. The slow development of URP on basic features is a stumbling block. Another big breakthrough would be to have an in-engine modeling tool. Almost every game dev knows the time consumption of having to iterate between 3D applications, and keep exporting 3D models whenever changes are made. Just not Pro Builder but a proper mesh editor in development for faster level design. Pro Builder has shown that it's possible and Unity has a lot of potential.

[@Hypersniper05]

Now I remember why I moved away from onnx, no support for 4bit quants. I would rather run a bigger model at 2 or 4bit with a hit on precision but double the parameter count

[@superstarsonder]

great

[@Reafuse111]

cool demo

[@lucas_skateboarding]

Please help! I 4 errors in Unity 3D 1. Error: Could not find or load main class 2. Failed to update Android SDK package list 3. Build completed with a result of 'Failed' in 2 seconds (2121 ms) 4. UnityEditor.BuildPlayerWindow+BuildMethodException: 3 errors

[@oo--7714]

Only good for ai anime waifus

[@GET_YOUTUBE_VIEWS_m054]

"I am really enjoying this song 🎧 🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥🔥