Montezuma's Revenge - ¿Hito del Aprendizaje Reforzado? | Data Coffee #8

[@DotCSV]

📸 Sígueme en Instagram para más contenido tras las cámaras : instagram.com/dotcsv/ 💸 ...y apoya el canal en Patreon!!! : www.patreon.com/dotcsv

[@zoramthewizard]

Muy interesante y muy objetivo la forma de analizar lo publicado. Hace poco descubrí el canal, ¡y es excelente! Saludos desde México.

[@mazzorecords]

Eres venezolano bro?

[@tunestar]

Sos el mejor comunicador de IA en español, te felicito.

[@DotCSV]

ACTUALIZACIÓN (04/02/2019) : Justo el mismo día que he publicado este vídeo, se ha hecho público el paper de Go-Explore que echábamos en falta : arxiv.org/pdf/1901.10995.pdf Lo se, el café ha quedado larrrrgo... ¡Tan largo como interesante! Y además hemos aprendido unas cuantas cosas interesantes del mundillo del Aprendizaje Reforzado. Si también quieres participar en la elección del próximo Data Coffee, y/o valoras la calidad de este contenido en KZbin, pues... ¿Por qué no te planteas unirte a Patreon? :) www.patreon.com/dotcsv ¡Muchas gracias!

[@germandavidmurillasmondrag4004]

nada, son 30 minutos de alegría para nosotros, no se moleste en dejarlo en 3 partes, no hay necesidad

[@martiddy]

Sería interesante si hablaras sobre la nueva IA AlphaStar en la que DeepMind está trabajando. Tiene mucho sobre que hablar.

[@josicoSiete]

Una duda... Si el entorno no presenta perturbaciones aleatorias, el algoritmo está "sobreentrenado", si es que existe eso en aprendizaje por refuerzo? Porque claro, yo veo la pantalla simplificada, hago 4-5 posibles movimientos y me quedo con el que me de más recompensa, cuando vuelva a ese mismo punto solamente repito lo que ya he memorizado. O no?

[@DadReXXTeRmiNiUm]

Tu para coffe break vas bien

[@jorgeeduardovicentehernand2232]

Esta bueno!!!

[@adrianmarki4457]

Directo al patreon! Creo que te mereces tambien una compesacion economica por lo que haces

[@linerider195]

Secundo la moción, de los mejores canales que conozco

[@jonathanantoni5779]

Cuanto cuesta el patreon?

[@Fr3doomMultiv3r3s]

Antes de conocer este canal no usaba mucho youtube, ahora parezco una adicta, me motiva mucho para seguir aprendiendo y avanzando, de verdad muchas gracias por darte el tiempo, hasta me he creado una cuenta en switch a ver si me da tiempo de ver los directos ! Mil gracias

[@josicoSiete]

Por fin aprendizaje supervisado! Se esperaba desde hace tiempo

[@angel-ig]

Reforzado*. Si te interesa puedes mirar su otro canal (NotCSV).

[@gabrilrh]

Estoy fascinado de tu canal y tus videos, sigue así

[@ahoraparchis]

Madre mía, ciertamente este vídeo es tan exquisito en aspectos técnicos de IA, que debe equivaler en puntuación a la asistencia a una conferencia, o incluso un Master. Yo lo pienso poner en el currículum. Muchas gracias Carlos por la currada. Me surgen dudas. El algoritmo saca dos millones de puntos. ¿En cuanto tiempo? ¿Si reinicias desde cero el algoritmo, no hace exactamente los mismos movimientos? ¿Cuenta con libre albedrío? ¿Podría sacar más puntos, reiniciando su conocimiento y volviéndolo a intentar? Perdona, quizás sean tonterías. Pero me interesa mucho. Gracias nuevamente por el vídeo.

[@PostrakCDP]

27:30 pensé que era un chiste referente a la pandemia y después vi la fecha de publicación.

[@JulianBolivarGaleno74]

Muy bueno el vídeo, de verdad uno de los pocos canales que se meten con detalles técnicos en AI, soy un nuevo seguidor. Felicitaciones

[@waldoiglesias]

Wow !! Excelente!! recuerdo tardes enteras de pequeño tratando de avanzar en este juego. Tremendo video asociado a él. Incluso no alcanzas a mostrar todas las dinámicas que trae este juego, por ejemplo en algún punto debes encontrar una "antorcha" para poder iluminar las siguientes pantallas. Recuerdo que luego de jugar tanto tiempo, continuábamos a oscuras, a tientas (sin ir a buscar dicha antorcha), ya que conocíamos de memoria el juego. Pero todo esto luego de muchísimo tiempo. Es increíble lo que puede realizar este algoritmo. Gracias por tu video y la tremenda info, y gracias por llevarme unos momentos nuevamente a mi niñez.

[@emmanuelbustamante6659]

cada tanto vuelvo a estos videos para recordar lo mucho que avanzó la IA en estos años

[@cozielny93]

amo tu canal hermano, que calidad de contenido. Soy de Honduras, estudiando actualmente en Cornell University un Master en Ingenieria en Sistemas. En agosto empiezo un doctorado y mi investigacion se orientara en AI aplicada en sistemas de manufactura. Tus videos realmente son una fuente inmensa de inspiracion, expertiz tecnica, y guia. Un abrazo!

[@galoheredia6622]

Es sorprendente la de términos del campo del control/automatización que se emplean en IA, el modelado de los sistemas, el determinismo, el feedback, vamos, como que me he enterado de todo sin problema! Muy guay el vídeo!

[@luzluz2054]

Sos lo mas!!!! Totalemente de acuerdo, creo que sos el unico que hace semejante laburo en espanol! Miles de gracias!!!

[@arketekoakete9639]

Buah! que gustazo! Por favor continua subiendo "Muchitos" vídeos mas tan interesantes como este !!!

[@carloschacon8751]

Hasta ahora conozco tu canal! estoy devorando tus videos, me parece increible tu aporte como divulgador, GRACIAS por hacer comprensible ese mar de conceptos. Feliz año nuevo

[@marcosmatilla4123]

Llevo 5 segundos y ya es un pedazo d video

[@ziskador]

A mi me parece que es un video entero xD

[@Rahgechanel]

@@ziskador a los 5 segundos aun era un pedazo de video

[@ziskador]

@@Rahgechanel Cierto...

[@Rahgechanel]

Dot CSV, donde se puede estudiar machine learning hasta terminar implementando estructuras?

[@luisparrado3622]

No había visto tus ultimos videos y estan geniales, los veo todos. de verdad mereces patreon, vas a dejar una muy buena huella en youtube,

[@leviguerrag]

Como siempre brutal el vídeo. Y el final

[@serome111]

dejare esto por si sale el link

[@bobobo1673]

.

[@SuperPacobelloso]

No entiendo.Quiero entender y me encanta .Recuerdo el que os sorprendió por la inesperada estrategia de los muñecos rojos a partir del minuto 7 mas o menos de coger un cubo que trepaban y surfeaban hasta meterse en el escondite de los azules en el juego del escondite.Es algo fantastico que magistralmente explicaste para un profano como yo.

[@daniels35]

Que tema tan interesante , por eso digo que no debería haber crítica mala , se está haciendo historia con todo esto.

[@enzodiaz9224]

JAJAJAJAJAJ tuve que ver éste video hace dos semanas! Reducir la imagen a pixeles es la solución perfecta a mi problema! Gracias por compartirlo, en serio! Nunca pensé que reducir una imagen en paint me causara tanta alegría.

[@franciscoyoutube891]

Excelente calidad audio-visual y profundización en la materia, muy motivador. Mucho ánimo, vas a llegar muy lejos.

[@bhhhfubufe290]

Gran video como siempre. El mismo video explicado en python seria la leche :-)

[@windrider3641]

Eres un auténtico crack! Haces que mi pobre cabeza exploté con mucha frecuencia, aún así, ahí he dejado una vez más mi refuerzo positivo Haha 👍

[@richardinver]

Me encantan todos los que he visto, me apasiona el tema de las ia y cada video que veo siento es la puerta a un universo del conocimiento

[@abeaumont10]

Muy genial el video, lo estoy recomendando por todos lados. Gracias, gracias, gracias.

[@kascesar]

Muy buen video, cuando tenga como apoyarte lo voy hacer, me saco unas cuantas risas y aprendí cosas nuevas

[@PaulD-pj]

toma tu señal positiva! Gracias por compartirnos tu conocimiento de AI . Mi profesión no tiene nada que ver con estos aspectos, pero que bien me la paso escuchando y viendo tus explicaciones. Otra vez muchas gracias :)

[@jaysonmunoz8342]

Magnífico video y muy informativo. Sin embargo, al verte jugar al Montezuma's Revenge me ha surgido una duda. ¿Es posible que un algoritmo utilizado para resolver un determinado juego plataformero, por ejemplo, pueda resolver otro del mismo tipo recordando mecánicas de jugabilidad similares? Lo pregunto porque mientras jugabas hablaste de conocimiento previo que por una cuestión de lógica te ayudaría a resolver algo similar. Algo muy acertado claramente. Pero, ¿qué tan cierto o factible es este comportamiento en el machine learning? Reitero mis felicitaciones por el tremendo trabajo que realizas. ¡Saludos!

[@Developerpe]

Luego del productivo Twitch jajaj, buen vídeo, esperando el siguiente 💪💪

[@gerardoprado4225]

Casi tuve un orgasmo cerebral con este video xD Ya no tengo palabras para expresarte lo bueno que es el contenido de tu canal, no me cansaré de felicitarte ;) espero que sigas adelante, el mejor canal de inteligencia artificial de KZbin.

[@MatiCpluplus]

El video es largo pero es, sin embargo, entretenido. Buen trabajo! Me alegro que hayas hablado del aprendizaje reforzado

[@sirosala]

Simplemente excelente !!! Saludos desde Rosario - Argentina

[@MihaiTopan]

Genial trabajo. Me ha gustado mucho y además mi hija se ha dormido escuchándote

[@EcoDev-Solutions]

Guau te felicito por el esfuerzo que le dedicaste a este video y que de seguro no fue fácil, pero si te confieso que desde el inicio a fin fue todo fue excelente. Fueron 30 minutos muy gratificantes. Ya tienes mi like. Saludos cordiales.

[@alfredonoboa]

Excelente vídeo, toma tu señal positiva de recompensa.

[@cristianvegasanchez1654]

De los pocos que hablan de estos temas y genial!

[@CarlosGarcia-xl3wi]

Muchas gracias por tus videos, son excelentes. Una pregunta, es necesario hacer una maestría para poder aprender sobre inteligencia artificial? O puedo estudiar por mi cuenta?

[@caramburu]

Estoy pensando seriamente en apoyar económicamente a este canal. Buen video.

[@dramon29]

Excelente explicación! Creo que te mereces un nuevo Patreon @

[@onamdiaz1399]

Muy buen video! Muy claro , me tiene muy emocionado este tema de IA

[@angeloliver2825]

Ojala me leas. La solucion del sampling 11x8 para versiones en 3d, seria la implementacion de un doble sampling. Y puedo comentar mas pero me gustaría saber tu opinion primeramente.

[@ComputadoraSistemas]

estoy impresionado por lo que ha logrado el algoritmo, aunque concuerdo con las criticas; están ayudando demás al agente: es como si en una tarea del cole tu papa te agarrara la mano para hacer las cosas, que si tendrás un rendimiento mejor que tus compañeros pero es un rendimiento falso y tener entornos ideales es algo que solo pasa en las simulaciones, el mundo real no es ideal, pero si no es un paper científico supongo que hicieron un buen trabajo, con sus defectos si, pero un buen trabajo, eso si, la publicidad de este trabajo si me pareció deshonesta.

[@alejandrobrun]

Impresionante informe. Muchas gracias por compartir tu conocimiento

[@esgaov]

El aprendizaje reforzado al parecer funciona mejor dentro de un espacio limitado en un entorno 2D en donde sus mecánicas de movilidad se limiten a izquierda-derecha-arriba y abajo, pero según entiendo también ha sido probado dentro de un entorno 3D en donde no solo se limita a 4 punto sino con una mecánica omnidireccional, a pesar de eso, en un entorno 3D también se mueve en 4 direcciones, imagino que se basa más en un sistema de colisión que determina que "esto es una pared", "esto es una puerta", también deberá generar cálculos para centrar la cámara, etc... ¿qué pasaría si el juego en cuestión no se basa en movimiento sino en opciones, decisiones? cómo determinaría el el algoritmo cuál es la opción correcta? ¿podría éste algoritmo en un futuro jugar solo de principio a fin *Detroit Become Human* por ejemplo?

[@Sclark2006]

Excelente vídeo. Me tardé para verlo me he aprendido bastante. Tal vez la infrmación complementario del nivel podría codificarse como un vector y alimentarse también a la red.

[@pabloberrettella6288]

Excelente trabajo!! Al parecer se podría mejorar el sistema de aprendizaje logrando identificar las recompensas intermedias con más facilidad. Hacer esto con un algoritmo simple es otro tema 🤣🤣🤣

[@ariananunez4663]

Me encantan tus viedos tienes buena informacion!!!

[@carlosmartinezdelfgaauw5046]

Buenísimo como siempre. El final 🤣🤣👍. Tan solo el principio un poco desagradable 😫, pero es solo una anécdota 👍👍👍💪

[@masaru8162]

Muy interesante. 🤔 Se agradece tener este tipo de contenido en español. 👌

[@javiergonzalez552]

Agradezco tanto este tipo de videos!

[@JoseMaria-qw9cz]

Magnífico trabajo Carlos!! 👏👏

[@adi-kr6sh]

que leguange de programacion me recomiendas para empezar el mundillo de IA, python?

[@slackerzero9719]

Lo maximo, seria genial poder ver un video sobre el modelo de DreamerV2

[@faqdx]

No tengo la menor idea cómo llegué acá!!! Pero me quedé pegado de principio a fin. No tengo ni idea de AI, me gustaría estudiar algo de programación y luego algo de AI. Pero estudio medicina y hasta que no termine, no tengo la menor chance de entrar en el ignoto universo de los algoritmos. Ya medicina me resulta bastante difícil y avanzo a duras penas, por lo que se me hace difícil en el corto mediano plazo que me introduzca en estos conocimientos, aun así, me resulta súper motivante saber aunque sea superficialmente algo de cómo vienen las cosas por la AI y su posible aplicación en medicina, en particular en entornos hostiles como la Antártida, o en lugares aislados por su lejanía a los centros urbanos

[@MaximoPower2024]

Hay una obsesión absurda en no dar información a los algoritmos de IA, cuando en realidad el ser humano, cuya inteligencia tratan de simular, no podría aprender sin toda la información extra que recibe. Quizás lo que se trata de ocultar es que, incluso recibiendo información extra, las limitaciones materiales siempre van a suponer un obstáculo insalvable a cualquier intento de crear una IA de propósito general. Es imposible simular un cerebro humano. Necesitaríamos codificar una cantidad de información que está muy por encima de nuestras posibilidades, en un orden de magnitud muy elevado, y recordemos que el agotamiento de los recursos energéticos globales tiene también un impacto sobre las posibilidades de desarrollo futuras de este ámbito.

[@matiasgerardcuelloscavetta8429]

Seria interesante ver mas videos sobre aprendizaje reforzado

[@glockenspiel_]

Qué buen video , super interesante.

[@diegogaliano8417]

28:43 cuidado con lo de Challenge, que ya te paso en el otro vídeo.

[@jeffersonmp4]

Chelench

[@DotCSV]

JAJAJAAJAJ joder... No, es broma, lo puse para ver quién llegaba hasta el final del vídeo... 🕵

[@the_archi_tech9887]

@@DotCSV Yo doy fe que he llegado. Vídeo muy interesante y las risas han sido abundantes cuando vi/escuché el efecto de caída las dos veces jaja

[@SergioMartinez-tl6ju]

20:00 igual que el BUEN HÁBITO DE PROGRAMAR, no importa que tan largo queda el video mientras todo quede lo más claro posible (código limpio, legible, comentado , aunque escribas en más lineas lo que pudiste escribir en una, si es más clara para otro programador, mejor)

[@dauid89]

Excelente contenido, como siempre! 👍👍👍

[@Argail8137]

Coño, que bien le ha sentado la rehabilitación a Simón, A TIPO FIJO!!!

[@LaDivisionDeAriza]

12:04 los algoritmos no gruñen cuando se frustran jugando juegos con mala jugabilidad. Punto para los humanos.

[@GtAbimael]

Enserio hay personas que le dan dislike a tus vídeos? Wow que tontos. Gracias por subir videos.

[@MauricioCidLobos]

Buen trabajo Carlos!

[@davidrivasredondo]

Buenisimo!!! Muchas gracias. Tienes un nuevo suscriptor

[@AdrianFernandezFazio]

Excelente canal y excelente video! Quizás me pasó solo a mi, pero al principio del vídeo se cortó el sonido por unos segundos. Saludos!

[@thiamath]

Media hora de sabiduría!!!!!! Al patreon que voy

[@FranLMSP]

Cuando nos enseñas a programar un algoritmo de aprendizaje reforzado que juegue Mario Bros?

[@fernandosanchez5117]

Hola, planeas dar un curso tipo mooc en algún momento? digamos en udemy.. Si es así, donde podríamos suscribirnos para estar al tanto de ello? aparte de tu canal por supuesto.

[@mrterry1756]

El juego de Ender de alguna forma toca eso del aprendizaje basado en videojuegos. Mis sesgos mentales, que aseguraron la supervivencia de mis antepasados, me harán decir algo muy choteado como: "Aquí es donde la realidad supera a la ficción".

[@rubendarioacosta4221]

recompensado con pulgar arriba.

[@andresjerez13]

+10 puntos ^^ genial conocer más sobre este paradigma

[@Dadrios]

Pedazo trabajo compañero.

[@darthporterus]

Muy buen video, me gustaría saber también como funciona la IA de OpenAI para tener tanto nivel en dota 2

[@AlbertoPobla]

Muchas Gracias. Saludos desde Valencia. :)))))) P.D. Que susto me has dado al final mamoncio :))))))

[@gonzaloamadorhernandez7020]

increible trabajo!!!! eres un crack!!!!

[@eliasmuga1609]

Sería genial... Hacer esto con juego retro (BOULDER DASH)...Saludos desde Chile...

[@gmarsi]

nunca dejas/dejes de sorprendrnos. chapó

[@gabrielmartin3107]

Si le pones a un modelo de lenguaje un interprete de python, podría llegar a adaptarse sola para hacer cosas nuevas?

[@MuchoLOLOLOLOL]

Hola, son geniales tus videos. Me gustaria que recomiendes algunos libros para empezar en el tema de la IA

[@instaladorelectricistayder6093]

Hola Dot CSV, que hardware usas para hacer ML y porque? Saludos!

[@danielcastiblanco5067]

Hola Dot tengo una duda y te agradecería si me respondes: estoy estudiando programación por mi cuenta, no consigo la forma de costear una carrera por ahora. Pero me gustaría saber ¿qué debería aprender para poder trabajar y experimentar con inteligencias artificiales? Sí tienes algún vídeo que indique pasos a seguir para avanzar en mi aprendizaje te agradecería mucho. Excelente vídeo espero poder trabajar con algoritmos de aprendizaje reforzado en el futuro.

[@bretonet]

No se como llevas el inglés y python, pero aquí va un muy buen tutorial de machine learning. pythonprogramming.net/machine-learning-tutorial-python-introduction/

[@MrPianica]

Gracias amigo, no se tu nombre pero desde Uruguay te mando un gran saludo y te deseo un próspero 2021.

[@Felhek]

Amé este juego de chico. Era muy adictivo

[@jcamo10zuekamo]

El starcraft 2 dice deeplabs que lo van a usar para predecir comporatmientos climatologicos.

Mientras más extenso el video mejor uwu

[@luisalejandro2890]

Termino genial al decir que es del artículo de un Blog y no un Papel científico.... Como para terminar el café y decir bueno son solo dichos 😉

[@fkoby]

Excelente, como siempre !

[@box1702]

wowwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww tremendo.

[@juantipan8453]

wooo vaya recompensa de curiosidad para mi cerebro

[@wormcitoc]

José están haciendo underfitting u overfitting... ??? O algo asi

[@almaguerrero3041]

Ojala no dejes de subir videos, te convertirás en el Javier Santaolalla de la inteligencia artificial

[@blancamariaarizagil4373]

Que tal, si al momento de llegar al "fin de su recorrido" (aunque hay una parte que aún no a explotado), tuviesen un marcador de no recompensa, que sólo se active en el momento en el que no hubiese acción, así nuestro sujeto, volvería al punto de inicio, siendo que cada vez que avance en el recorrido, al punto de inicio, el marcador de no recompensa se disminuya, y al retornar de nuevo en la sala de inicio, dicho marcador desaparezca y actué el marcador de recompensa, ante la sala que aún no a explotado.

[@sergiomo9977]

Enserio esto fue hace 4 años ? parece que fue aller, 🙂, Muy buen contenido, y sirve mucho para el repaso.

[@robonerfe]

Hubieras hecho el boli mágico again y pum refuerzos positivos para todos

[@victorandresdelapuente9882]

Buen interesante el vídeo, imperdible , gracias (y)