Asistente Virtual en Realidad Aumentada - Reconocimiento de voz

[@UnityAdventure]

Para quien no le funcione la aplicación después de construir la app en este video explico como solucionar el error. kzbin.info/www/bejne/h6KzqnifYrKHgpY

[@edwinquintana5481]

Gran trabajo ! Excelente información

[@UnityAdventure]

Hola, Gracias por tu apoyo x) Saludos

[@fernandomiranda5153]

Increíble, gracias por el aporte!

[@UnityAdventure]

Hola, Gracias por tu apoyo, Saludos.

[@ericcastro007]

Es una Genialidad! Gracias.

[@UnityAdventure]

Hola!! Gracias por tu apoyo, me cuentas como te va Saludos

[@christianrenovellmiralles8370]

Deberias meter el archivo SpeechTextManager dentro del repo, ademas de explicar que hace cada punto del código y no limitarnos a copia sin saber que hace cada linea de código.

[@UnityAdventure]

Hola, Cual repo? no tengo ningun Repo del proyecto, el repo es de quien creo el plugin. Saludos.

[@argeozbrawl8176]

Es un tutorial gratis, no deberías exigir absolutamente nada, cuando pagues por algo podrás hacerlo, salu2

[@201_shahil8]

When I created this the screen went black, just the button and pannel were there. (I used it in a existing project with vuforia)

[@UnityAdventure]

Hello, It seems this plugin is experiencing some issues. I recommend checking with the plugin's creator on GitHub for assistance. Best regards,

[@davidsantiagosanchezrincon483]

No se porque pareciera que todo funciona correctamente, hasta que presiono el boton de record, en ese momento se me cierra la app automaticamente, si lo dejo presionado y digo una frase, se alcanza a ver la frase que dije en texto pero igual se cierra de una, no se que hacer :c

[@UnityAdventure]

Hola, Lamentablemente ese plugin comenzó a presentar fallas meses atras, pero en el Github del plugin ya existen soluciones: Mira esto: github.com/j1mmyto9/speech-and-text-unity-ios-android/issues/73#issuecomment-1178463015 Saludos

[@alexandersanchez3128]

A mi me sale error en unity en la parte del minuto 11:00 me dise Assets\Scrips\ButtonSpeech.cs(5,19): error CS0234: The type or namespace name 'EventSystem' does not exist in the namespace 'UnityEngine' (are you missing an assembly reference?) Assets\Scrips\ButtonSpeech.cs(8,44): error CS0246: The type or namespace name 'IPointerDownHandler' could not be found (are you missing a using directive or an assembly reference?) Assets\Scrips\ButtonSpeech.cs(8,65): error CS0246: The type or namespace name 'IPointerUpHandler' could not be found (are you missing a using directive or an assembly reference?) Assets\Scrips\ButtonSpeech.cs(13,30): error CS0246: The type or namespace name 'PointerEventData' could not be found (are you missing a using directive or an assembly reference?) Assets\Scrips\ButtonSpeech.cs(17,29): error CS0246: The type or namespace name 'PointerEventData' could not be found (are you missing a using directive or an assembly reference?) Ayuda...

[@UnityAdventure]

Hola, Debes agregar los names space: UnityEngine.events y UnityEngine.EventSystem Saludos

[@alexandersanchez3128]

@@UnityAdventure si lo tengo pero aun asi me sale eso🥲

[@alexandersanchez3128]

@@UnityAdventure using System.Collections; using System.Collections.Generic; using UnityEngine; using UnityEngine.Events; using UnityEngine.EventSystem; public class ButtonSpeech : MonoBehaviour, IPointerDownHandler, IPointerUpHandler { public UnityEvent OnButtonPressed; public UnityEvent OnButtonRealeased; // Start is called before the first frame update public void OnPointerDown(PointerEventData eventData) { OnButtonPressed?.Invoke(); } public void OnPointerUp(PointerEventData eventData) { OnButtonRealeased?.Invoke(); } } le pongo eso y aun asi me sale el error

[@alexandersanchez3128]

@@UnityAdventure en el codigo con los using no ?

[@OSCAREDUARDOALZATEROMERO-r8u]

Buenos días, pregunta este mismo proceso lo puedo aplicar para Juegos hechos en PC ?

[@UnityAdventure]

Hola, Si es lo mismo, no cambia nada, Saludos

[@LoganAlfa-1]

Hola amigo, interesante, y gracias por tu aportación, dices que se puede hacer igual sin realidad aumentada, ya que mi versión de unity no la tiene, podrías indicarme como abro los paneles en donde tengo que entrar para activar digamos, una animación como corto de video para que interactúe como avatar, si es posible te lo agradecería infinitamente, igual te felicito! saludos

[@UnityAdventure]

Hola, Hola! Claro, puedes lograrlo sin realidad aumentada. Para activar una animación, sigue estos pasos: Crea un Animator Controller: Haz clic derecho en la carpeta Assets, selecciona Create > Animator Controller. Asigna el Animator Controller: Selecciona tu avatar en la escena, en el Inspector, arrastra tu Animator Controller al campo "Animator" del componente Animator. Agrega la animación: Haz doble clic en el Animator Controller para abrirlo. Arrastra tu clip de animación al panel de Animator para crear un estado, luego conéctalo al estado "Entry". ¡Listo! Ahora la animación debería reproducirse al iniciar la escena. ¡Saludos!

[@funfactory001]

muy bueno el tutorial igual no fuciono aun con la solucion pero se aprecia el ejemplo

[@UnityAdventure]

Hola, Desafortunadamente una actualizacion de Android rombio el pluging, pero puedes usar la misma mecanica y aplicarlo a otro plugin como el de Azure por ejemplo. Saludos

[@funfactory001]

@@UnityAdventure gracias😄

[@juandavidruedamartinez1278]

Crack! ❤️

[@UnityAdventure]

Gracias por tu apoyo

[@modelad3d]

esa api de reconocimiento de voz es capaz de hacer un speechtotext instantáneo? es decir que no tengas que hacer pausas para que se refleje lo que dijiste en el texto y en las acciones?

[@UnityAdventure]

Hola, No, el plugin necesito un comando para empezar a grabar, Saludos

[@ricardoluna2332]

Hola buenas, ojala me contestes, copio tal cual el codigo, pero en unity no me aparece las opciones que te aparecen al agregar el script al objeto SpeechTextManager. El codigo no me muestra ningun error, ya revise varias veces pero no logro encontrarlo, ojala me ayudes :(

[@UnityAdventure]

Hola, El Plugin a cambiado, te recomiendo que revises el Git de los creadores del Plugin. Saludos

[@nicolasnorato6056]

Hola, ya me sirvió y la mayoría de cosas está bien, pero le hice unas opciones donde yo preguntaba y me responde, pero cuando lo hago en mi celular no funciona (todas las demás funciones sirven) no sé si es por qué le puse mucho texto o use puntos o que pasa

[@UnityAdventure]

Hola, El plugin hace unos meses funcionaba correctamente, pero ha tenido muchos problemas debido a unas actualizaciones de Google. Si no te funciona, te recomiendo que busques otro. Salufos

[@zurielalvarez3575]

Sabrás por qué después de que se activa el asistente y me responde , al hacerle una nueva consulta no me responde?

[@UnityAdventure]

Hola, Suena algo extrano, te muestra algun error? Saludos

[@nelsongomez8547]

Hola Felicitacciones por tan excelente aporte. Soy nuevo en el tema pero me gusta. Pregunto, las instrucciones al asistente para que pueda responder, siempre son con diccionarios? es decir, siempre son instrucciones explicitas?

[@UnityAdventure]

Hola, Si, solo reconoce palabras o frases que ya han sido definidas, pero puedes hacer el cosido mas robusto, haciendo que reconozca por ejemplo el contexto de una oración. Por ejemplo, si el usuario dice: estoy feliz, estoy contento, estoy emocionado. Tener definido en el código, que cuando se encuentre una de esas palabras dentro de una frase el Bot haga o diga algo. También puede hacer ML, y crear una “Inteligencia” Saludos, gracias por tu apoyo.

[@nelsongomez8547]

@@UnityAdventure Hola muy buenos días, muchísimas gracias por tu pronta respuesta. Haciendo énfasis a los 2 puntos "Haciendo que reconozca el contexto de una oración"... "Usando ML" tienes algún video de estos, algo en lo que me puedas orientar de como lograrlo? Agradezco todo lo que puedas compartirme

[@joseluislopezagudelo551]

Muy buen video pero copie tal cual el codigo del speech text manager y no me sale lo del comando de voz

[@UnityAdventure]

Hola, Que no te sale? Revisa que las clases sean [Serializable] Saludos

[@nacholsrc1023]

hay alguna forma de que no aparezca el asistente de google y trabe la app y cuando dejas de hablar la destrabe??

[@UnityAdventure]

Hola, Al parecer es algo que ocurre con una nueva version de Android, te recomiendo que visites el github del plugin para que obtengan mas informacion al respecto. Saludos

[@rodrigonunez5311]

Hola que tal me podrias decir que template usas al iniciar unity? y tambien en que formato se baja el modelo 3D ya que hay varios archivos y como lo ingresas el modelo al canvas ya que cuando lo agrego no sale en la pantalla

[@UnityAdventure]

Hola, Yo uso la template Built-In, en cuanto al modelo lo he descargado de Sketch Fab, verifica que este posicionado delante de la camera. Saludos

[@aloneEffect-kz2sw]

Alguna forma de que se ejecute en segundo plano y se active al llamarlo

[@UnityAdventure]

Hola, No lo he intentado, creo que para ello debes editar directamente el plugin Saludos

[@edwinpaniagua739]

Buenos dias, al generar la apk, no me activa el asistente, y en unity veo estos mensajes de advertencia. Unable to find unity activity in manifest. You need to make sure orientation attribute is set to portrait manually. UnityEngine.GUIUtility:ProcessEvent (int,intptr,bool&), No active UnityEngine.XR.XRInputSubsystem is available. Please ensure that a valid loader configuration exists in the XR project settings. UnityEngine.XR.ARFoundation.ARInputManager:OnEnable () (at Library/PackageCache/com.unity.xr.arfoundation@4.1.10/Runtime/AR/ARInputManager.cs:24). Visual Studio Editor Package version 2.0.15 is available, we strongly encourage you to update from the Unity Package Manager for a better Visual Studio integration UnityEngine.Debug:LogWarning (object) Microsoft.Unity.VisualStudio.Editor.VisualStudioIntegration:HandleListRequestCompletion () (at Library/PackageCache/com.unity.ide.visualstudio@2.0.11/Editor/VisualStudioIntegration.cs:149). Mil gracias si me pueden ayudar.

[@UnityAdventure]

Hola, Los mensajes de advertencias es porque intentas correr ARCore/ARFoundation en el PC y este no los soporta. En cuanto a la app, desde hace unos días el plugin esta fallando, puedes ver mas al respecto a qui: github.com/j1mmyto9/Speech-And-Text-Unity-iOS-Android/issues/73 Saludos,

[@UnityAdventure]

Hola, He resueltos los problemas que se estaban presentando, puedes verlo en este video: kzbin.info/www/bejne/h6KzqnifYrKHgpY Saludos,

[@LM-gj2uy]

Excelente asistente en realidad actual, hay manera de hacer el mismo proyecto de asistente virtual, pero en una experiencia en realidad virtual???

[@UnityAdventure]

Hola, Este SDK no funciona para VR. Te reconimiendo que revises MRTK que tiene un muy buen servicio de Speech Recognition. docs.microsoft.com/en-us/windows/mixed-reality/mrtk-unity/?view=mrtkunity-2021-05 Saludos

[@juliomaypacheco6178]

En el AndroidManifest , la linea de codigo que eliminas no me aparece a mi:(

[@UnityAdventure]

Hola, Si no te aparece no pasa nada, déjalo así Saludos

[@IRISYUMARASALAZARAPAZA]

muy buen tutorial :) , me podrias ayudar con esto: Assets\script\SpeechTextManage.cs(19,35): error CS1002: ; expected

[@UnityAdventure]

Hola, Como lo dice el error, te hace falta un ; y me parece que tienes mal el nombre de "SpechTextManager" Saludos gracias por tu apoyo

[@emilypamelaromeroaraujo869]

Muy Buen Tutorial!! Me quede con la duda si se puede cambiar la voz de la asistente a una voz masculina, ¿Es ello posible?

[@UnityAdventure]

Hola, No, este plugin no lo permite. Saludos

[@robertth4195]

Tengo un error al a hora de probar la aplicación y es que todo el diseño esta bien pero cuando presiono el botón de hablar no me detecta nada. Y cuando estoy en el proceso de código en Visual Studio los snippets no se autocompletan por lo que siento que me falta algo. Me podrian ayudar por favor

[@UnityAdventure]

Hola, Verifica que Visual Studio este correctamente conectado con Unity, Ve a a edit - preference - external tools - Y selecciona Visual Studio. En cuanto a la app, desde hace unos días el plugin esta fallando, puedes ver mas al respecto a qui: github.com/j1mmyto9/Speech-And-Text-Unity-iOS-Android/issues/73 Saludos,

[@takijemai7802]

tengo el mismo problema, cuando presiono el boton no me detecta nada!!!!

[@isaxd7193]

pudieron solucionar el problema de que no detecta el audio?

[@takijemai7802]

@@isaxd7193 no

[@vegettosandev]

Estamos todos igual :(

[@estebancuasapaz7197]

hola, ¿cómo puedo observar los Debug?

[@UnityAdventure]

Hola, Puedes crear un canvas a imprimirlos sobre un texto, O conectar el debug de Unity con el telefono, o hacerlo usando CMD de windows y adb logcat Saludos

[@ledesma-fabio]

Excelente video! Estoy trabajando con Unity 2020.3.18f1 y al codificar me sale el siguiente error en cada llamada de la API: 'SpeechToText' does not contain a definition for 'instance' la verdad revise el video varias veces buscando errores de código y nada. Sabés que podría generar dicho error?

[@UnityAdventure]

Hola, He resueltos los problemas que se estaban presentando, puedes verlo en este video: kzbin.info/www/bejne/h6KzqnifYrKHgpY Saludos,

[@ledesma-fabio]

@@UnityAdventure Excelente, muchas gracias!!

[@davidcotari8103]

excelente video podrias realizar un menu con realidad aumentada con diferentes imagenes??????...

[@UnityAdventure]

Hola, Gracias por tu apoyo, Ya hice un video similar puedes verlo aquí kzbin.info/www/bejne/b2jHXmWYhbCbnc0 Saludos

[@davidcotari8103]

@@UnityAdventure una consulta me sale esta notificacion en unity una vez que lo instale si me podrias ayudar con una respuesta "File C:\Users\Usuario\.android epositories.cfg could not be loaded. System.Threading.ThreadHelper:ThreadStart ()"

[@UnityAdventure]

Hola de nuevo xd, El archivo «repositories.cfg» permite a los desarrolladores añadir una lista de repositios-sdk. Java en alguna parte intenta cargar ese archivo “public void loadUserSources()”, como no existe entonces te de la advertencia, cabe aclarar que esto no afecta en nada el build de aplicación. Si quieres solucionarlo crear el archivo «repositories.cfg» en la dirección que te indica, y dentro del archivo agrega: ### User Sources for Android SDK Manager count=0 Saludos.

[@JhonatanGB]

Me puedes ayudar me salio esto: Assets\Scripts\SpeechTextManager.cs(49,58): error CS0103: The name 'OnPartialSpeechResult' does not exist in the current context te puedo enviar mi proyecto? para que lo revises? por GMAIL

[@UnityAdventure]

Hola, Mientras hacia el tutorial, escribir mal "Partial" luego lo cambié y no lo agregé en e video. 'OnPartilSpeechResult'es la misma funcion que 'OnPartialSpeechResult' Revisalo, me cuentas si se soluciona, Saludos.

[@UnityAdventure]

Hola, He resueltos los problemas que se estaban presentando, puedes verlo en este video: kzbin.info/www/bejne/h6KzqnifYrKHgpY Saludos,

[@jhonnyandresparrareyes8422]

hola amigo increible video el asistente puede realizar acciones como ejectutar alguna funcion de arduino o en php

[@UnityAdventure]

Hola, Claro que si, desde que lo puedas programar y enlazar con unity, te deberia funcionar. Saludos

[@sebastiansiman6076]

Está la apk en algún lugar para descargar? Me gustaría usar un celular con android que no uso para instalarle esta app que creaste y usar google asistente con tu app.

[@UnityAdventure]

Hola, No la apk no esta disponible, Tienes algun problema al crearla con el tutorial? Saludos

[@sebastiansiman6076]

@@UnityAdventure No intenté todavía porque tengo muy pocos conocimientos en ésta área. Pero voy a intentar siguiendo tu tutorial. Gracias por contestar ! Saludos

[@isaxd7193]

hay alguna solución cuando no reconoce la voz o cuando no entra la voz al celular?

[@UnityAdventure]

Hola, No, pero puedes usar otro plugin u otro servicio, Como el de microsoft por ejemplo Saludos

[@jardelx20]

Hola , una consulta cuando le doy build me genera el apk pero al pasarlo al celular sale como zip

[@UnityAdventure]

Hola, Te sugiero que pases la APK conectando el teléfono al PC con el cable y pasándola directamente. Saludos

[@jardelx20]

@@UnityAdventure si al final lo hice así y función perfecto gracias 👌

[@robertomota1509]

Hola amigo a ti si te funciona el apk en el celular?

[@antonolivaresjuanjose2992]

Pasado un tiempo funcionando perfectamente ha dejado de funcionarme, ¿el speechToText solamente es gratis una temporada o ha sido casualidad?

[@UnityAdventure]

Hola, Lastimosamente el plugin se vio afectado por una actualizacion de Google. Pero normalmente es gratis, estoy haciendo todo lo posible para solucionarlo, Saludos.

[@UnityAdventure]

Hola, He resueltos los problemas que se estaban presentando, puedes verlo en este video: kzbin.info/www/bejne/h6KzqnifYrKHgpY Saludos,

[@antonolivaresjuanjose2992]

@@UnityAdventure Muchas gracias, creo que eres el mejor en Realidad Aumentada y aún mejor en tu atención a los suscriptores, espero que te vaya muy bien en la vida.

[@nelsongomez8547]

Hola Muy buenos dias, tienes algun recurso, video o algo relacionado a como puedo aplicar ML-agents especificamente para este tipo de proyecto del asistente virtual? Agradezco tu ayuda.

[@UnityAdventure]

Hola, Trabajé con ML-agents, pero en Robotica, y obtuve muy buenos resultados. Pero si sé que es posible implementarlo a un proyectos como este. Si lo haces, me cuentas como te fue. Saludos, y gracias por tu apoyo.

[@nelsongomez8547]

@@UnityAdventure Hola Mil gracias por tu pronta respuesta, Que tipo de ML-Agents crees que se pueda usar para adaptar a este tipo de proyectos?

[@Modaclick_es]

Hola buenas para que funcione con iOS hay que cambiar el código o funciona igual

[@UnityAdventure]

Hola, No, el codigo no tiene que ser modificado. Lo unico que tienes que hacer es descargar ARKit y compilar para iOS. Saludos

[@EzequielOrtubia]

Se podrá realizar el proyecto sin utilizar realidad aumentada? Felicidades por tu contenido, es excelente 👍

[@UnityAdventure]

Hola, Claro que si, el proceso es el mismo. Saludos.

[@juanpablohernandez577]

Hola, estoy desarrollando el tutorial, género el apk, pero no se está solicitando el permiso al micrófono por ende no reconoce la voz, me podría ayudar?

[@UnityAdventure]

Hola, Te recomiendo que visites el github del plugin : github.com/j1mmyto9/speech-and-text-unity-ios-android/issues/73#issuecomment-1178463015 Espero te funcione, Saludos

[@anzhonymanrique6581]

Buenas Cuando presiono el boton para decir activar asistente, se me cierra el aplicativo, alguna idea que podria ser?

[@UnityAdventure]

Hola, Desde hace algunos diasel plug-in presenta problema en algunos dispositvos, Para mas informacion puedes re visar en esta pagina: github.com/j1mmyto9/speech-and-text-unity-ios-android Saludos

[@anzhonymanrique6581]

@@UnityAdventure si vi q se actualizo espero q funcione, igual muchas gracias por el video fue muy útil.

[@UnityAdventure]

@@anzhonymanrique6581 Hola, He resueltos los problemas que se estaban presentando, puedes verlo en este video: kzbin.info/www/bejne/h6KzqnifYrKHgpY Saludos,

[@wolfdigital9631]

Es un sueño todo esto, cómo podría animar un cuadro? Por ejemplo de mi mamá y que suene un audio obviamente de ella

[@UnityAdventure]

Hola, Honestamenta no se como hacer lo primero, en cuanto al audio, el plugin no permite cambiar el audio, Saludos,

[@wolfdigital9631]

@@UnityAdventure ya veo entonces reproducir un video de youtube al enfocar la imagen puede ser una opcion no?

[@UnityAdventure]

@@wolfdigital9631 Hola, claro que si, en canal tengo un tutorial donde explico como hacerlo: kzbin.info/www/bejne/oYWYZqR_jKucfLM Saludos

[@wolfdigital9631]

@@UnityAdventure mushcas gracias

[@emergentesii1947]

Estupendo tutorial, pero... ¿Esta aplicación requiere de internet para su funcionamiento?

[@UnityAdventure]

Hola, Gracias por tu apoyo; Asi es, requiere internet. Saludos.

[@sandrahernandezramos8918]

Cómo se construye la aplicación?

[@sandrahernandezramos8918]

Para correrla en el teléfono?

[@UnityAdventure]

Unity Adventure • 1 day ago - En tu telefono - Activar el modo desarrollador. 1. Ajustes 2. Sistema 3. Acerca del teléfono 4. En compilación presiono 7 veces o mas hasta que aparezca que el modo desarrollador ha sido activado. - Instalar la app en el teléfono 1. Subo el Build de Unity a una cuenta de Google Drive que este abierta en mi teléfono 2. Entro a Google Drive desde el teléfono y abro la app que está en formato .apk 3. Saldrá un mensaje de permitir instalación de apps desde Google drive, doy en permitir y luego activo. 4. Presionó atrás o vuelvo a presionar el archivo .apk 5. Se instalará la app 6. Dar acceso a la cámara 7. Disfrutar la app Cuéntame si te funciona, ¡Saludos!

[@edwardeliecersilvamejia2500]

Excelente. Hace unos años construí un asistente virtual en c#. Me gustaría poder implementarlo con realidad aumentada o mejorarlo. Aquí el enlace de una prueba que hice con èl: kzbin.info/www/bejne/m5WlqGd8Z8SWqs0 qué mejoras me aconsejas que se pueda hacer con él. Gracias.

[@UnityAdventure]

Hola, Brutal tu video, felicitaciones que buen trabajo. Te aconsejaría que mejoraras un poco la interfaz Saludos

[@edwardeliecersilvamejia2500]

@@UnityAdventure Gracias