Cómo identificar el OVERFITTING en tu RED NEURONAL - Parte 2

[@DotCSV]

📸 Sígueme en Instagram para más contenido tras las cámaras : instagram.com/dotcsv/ 💸 ...y apoya el canal en Patreon!!! : www.patreon.com/dotcsv

[@carlovinggiocolmenares461]

Y el siguiente video? Jeje

[@illPablolli]

Y el siguiente video x2? :3

[@jordi8807]

La edición del video esta rozando lo sobrenatural. Muy buen video.

[@cristianaveiro9999]

De acuerdo !!!

[@FrankMontillaa]

un dios

[@leostar5024]

Es excelente.

[@santiagovallevillamayor6384]

Cada vídeo es un joya audiovisual.

[@germandavidmurillasmondrag4004]

Lo que mas me fascina de tu canal es esa manera cada vez más y más impecable de entregarnos tus conocimientos con tanta dedicación y profesionalismo

[@DotCSV]

Segunda parte de esta TRILOGIA sobre el Overfitting ¿Te ha gustado? ¿Sí? Pues deja tu Like y comparte el vídeo en tus redes. Será de ayuda para el canal :) Por cierto, ¿Has visto lo que hago en el resto de redes sociales? ¡Tienes todos los links en la descripción! Ah... y el PATREON! AAAAH!!! Y mi cuenta corriente en Bahamas!!!! 🌴

[@CarlosestebanVargasMoreno]

Parcero. Esta una chimba de video

[@krokus937]

Buen video

[@AlvaroFernandoRiosRamirez]

4:25 y algunas centésimas de segundo: "COLOQUE AQUI SU PUBLICIDAD" .... ¡Sin acento! Ya decía yo que era raro que me incomodara eso :V

[@felipevi8554]

Álvaro Fernando Ríos Ramírez 😂 ¿Y qué me dices del 3:54?

[@DotCSV]

¿¿En serio me van a obligar a poner tildes en las mayúsculas?? :(((

[@jersontoledoflores5237]

Sigo esperando la parte 3 !!! Esta increíble tu explicación

[@SergioMartinez-tl6ju]

me encanta como ilustras todo, y da mejor entendimiento, no se queda en palabras, es un concepto más plástico, fácil de entender

[@laureanorp]

Sinceramente llevo 1 hora viéndome estos vídeos y solo quería decir que el nivel de edición que tienen es increíble. Se entiende todo muy bien, ejemplos fantásticos, humor, dinamismo.. Muy disfrutables, en serio.

[@jicabe577]

Tio... debes de ser una potencia en ciencia de datos, pero perfectamente podrías ganarte la vida como documentarista o cineasta. Saber contar una historia y entusiasmar. De nuevo, mis felicitaciones.

[@antoniojimenezruiz5323]

Impresionante edición para explicar un concepto ciertamente complejo

[@thefarfarout]

F por la 3ra parte Me estoy viendo 1 por 1 tus vídeos desde 0 para arrancar a aprender de una maldita vez jajajaja Éxitos!

[@Gamma3]

Quizas Carlos lea esto y le den ganas de hacer la parte 3

[@daironperezfrias7819]

Me he visto este video con calma y muchas pausas para copiar todo a mi libreta, eres grande y tus ediciones de videos son muy geniales solo tu sabes cuanto tiempo te ha tomado cada parte animada, felicidades te merece el crecimiento de tu canal continuo que esto es ahora que empieza...

[@paulagomez7645]

Tus videos son de lo mejor que he visto. Saber transmitir materias complejas de manera sencilla me parece de genios. Enhorabuena

[@xxoan.1613]

me encanta el nuevo toque humoristico, bravo

[@EdgarGarcia-kt7bv]

He aprendido muchísimo con tus vídeos. Vengo de la serie de 4 partes (hasta la 3.5) de ML y es BRUTAL. He aprendido mucho más en 2 horas que llevo, que en semanas desmotivadoras donde no explicaban realmente bien y realmente necesitabas conocimientos matemáticos previos... contigo no es así, explicas super bien incluso la parte matemática, y simplemente con una búsqueda en google puedo ver y entender la lógica detrás. MUCHAS GRACIAS!!!!!

[@RojoNegative1]

Este comentario no tiene ninguna matiz de ofender. PERO TIENES EL MEJOR CANAL ( MEJOR SE QUEDA CORTO, ES QUE NO ENCUENTRO OTRO CALIFICATIVO) EN ESTE PINCHE Y MALDITO MUNDO!!! CARAJO!!! EXCELENTE TRABAJO!! EDICIÓN, CONTENIDO, ETC. SOBRE TODO EL CONTENIDO!!

[@drnotof6124]

Tu capacidad de edición de vídeos es magistral!

[@oscarmay2565]

La verdad te felicito, tus videos son excelentes con explicación sencilla muy didácticos y visuales. Solo un comentario para nutrir está discusión sobre la participación de datos en el proceso de aprendizaje de la red, al parecer validación y test son dos cosas diferentes en el mundo de machine learning. En efecto la validación es la comparación que se hace para evitar el overfitting pero el test tiene un sentido más halla que se refleja en los datos que se utilizan para comprobar que el modelo generaliza y son datos independientes del entrenamiento y la validación. Creo que muchas veces tenemos ese conflicto en el español por la traducción de los términos. Yo igual tuve ese inconveniente varias veces hasta que en un arbitraje de artículo un revisor aclaro este punto. Nuevamente felicitaciones por esta gran labor educativa y de difusión sobre la IA en nuestro idioma

[@dacon70]

Yo definitivamente ya he llegado al punto en que tal cual veo el vídeo subido, cierro todo y me lanzo a verlo enseguida. Excelente calidad y gran esfuerzo detrás del vídeo, que culminan en toda una obra audiovisual.

[@diegoclavel4543]

Gracias a ti me encanta cada día más la IA! Esperando con ansias la parte 3!!! Saludos desde Chile!

[@rojasnathalia]

Hola! He visto varios de tus videos para prepararme para mi examen de Machine Learning y me han gustado MUCHO!!! Gracias!! Al final del video dice que te invite a un café, bueno! cuando te des la vuelta por Costa Rica, con gusto te invitaremos a un café :-) y si me va bien en mi examén, te colaboraré con unos dólares para tu canal! porque son explicaciones MUY CLARAS, excelentes videos!

[@aledddy6438]

Me mató de la risa cuando apareció el maestro de Andrew jajajaja!, qué gran contenido!!, muchísimas gracias

[@CaliBeta]

Brutal, que Buena explicación, yo en mi último modelo use 3 divisiones, entrenamiento, validación y pruebas ya que el modelo realizado en tensorflow lo debo pasar a C para programar un microcontrolador con el modelo preentrenado para empezar a predecir

[@leostar5024]

11:39 jajajaa, muy bueno, casi escupo el cafe. Muy didactico. Saludos!

[@luisfernandoblasrondan7493]

Parte 3 porfa !!! He esperado más esto que la vacuna contra el Covid.

[@biodsan]

¡Genial!, este canal ha llegado creo que un poco tarde a mi vida, me está refrescando la memoria de cuando vi estadística y modelación en la universidad, gracias por existir... La música también está genial.

[@luispereztimana287]

Increíble video, lastima que no exista parte 3 😭

[@hgg6698]

IMPRESIONANTE. Edición de vídeo y explicación 10 de 10. De lo mejor de KZbin.

[@justWaKs]

¡Increíble! Salvaste mi explicación de tesis. Buenas vibras y gracias.

[@IsaStar]

Yo en mi tesis probé con tres técnicas de validación de datos: la validación cruzada, la separación de entrenamiento de los datos tal y como lo explicas en este vídeo y otra más: Leave-one-out validation. Dejando ejemplos de un "tipo" fuera para ver como generaliza en un tipo de ejemplos desconocidos. Lo único que necesitas saber que esos ejemplo o ejemplos son verdaderamente distintos del resto. Es decir, al igual que en el segundo caso. Muy buen video!

[@neux2006yt]

Excelentes videos Dot CSV !! No suelo hacer comentarios sobre los videos que miro, pero en este caso (y en la mayoría de tus videos) vale la pena resaltar la buena calidad de tus explicaciones, el esfuerzo que haces para hacerte entender y sobre todo lo bien trabajo de todo el contenido. Sigue así !! Y gracias por tus excelentes aportes

[@xaputrance]

Eres una inteligencia artificial que genera videos que enseña inteligencia artificial?

[@martiddy]

Nunca lo sabremos

[@xxoan.1613]

ha aprobado el test de turing

[@NuGeera]

No me asustes viejo

[@mrterry1756]

Una machina que cree que existe y tiene alma. Diria que piensa que tiene sentimientos, pero eso todavia no pareciera ser.

[@ledpops9385]

Increíble. Muchísimas gracias por tu tiempo y por tus explicaciones! Eres un crack!

[@patoman13]

y recordar no solo hacer UNA SOLA particion de los datos ( entrenamiento y prueba) , puede que las graficas de error/epocas muestren que no hay sobreentrenamiento, pero quizas JUSTO esa particion q se hizo es un "lucky split" . Hay q asegurarse de todas partes, dividir en set de entrenamiento, validación ( para early stopping round) , y test( para que sea totalmente independiente del entrenamiento y parada). Hacer validacion cruzada ... probar con varios parámetros, etc. Igual todo depende del problema que tengan. si tienes millones de datos quizás la red se pueda ajustar con solo el 10 % y otro 10% para testear. UFFFFFFFFFF q es frustrante cuando te das cuenta que tu red estaba sobreajustada :´( saludos

[@mariamasanet3651]

Felicitaciones! Impecable cada uno de los videos que publicas. Muchas gracias por todo lo que compartes (y me divierto mucho)

[@marticastany]

Coloque aquí su publicidad. Bromas aparte, explicación brillante!

[@AlejandroGomezArdila]

Bro .. me alegra haber dado con tu canal ... ¡me gusta saber que mantienes una rigurosidad matemática! ... porque era es lo que andaba buscando por estos lares

[@dbanshee]

Me uno al resto de comentarios positivos. Ademas de un contenido sublime en su explicacion didactica. La edicion de los videos hacen una experiencia épica. Ojalá haya CSV para rato. Por cierto Carlos, he cursado un curso de IA Aplicada en la Universidad de Málaga y han utilizado este canal como fuente en el temario.

[@Pestigirioso]

Excelente video, como todos. Llegué de parte de Date un Vlog, y en cada video que veo se nota el empeño, y la calidad con que están hechos. Te felicito, ¡y que siga así!

[@linisguerrero9979]

estoy estudiando y es muy buena la inroduccion

[@albertotorre5477]

Subscrito y campanita. ¿Cómo he vivido todo este tiempo sin conocer este canal? PD: Totalmente de acuerdo en lo que dices, aprender AI es más conceptual y dedicarse más a la calidad de los datos de entrada que aplicar los modelos. Los modelos a día de hoy se pueden aplicar haciendo un simple click, la esencia se encuentra en saber los conceptos y saber qué clicks hay que hacer y cuándo deben hacerse. Conozco mucha gente que quiere hacer grandes cosas con poco esfuerzo y no quieren saber absolutamente nada sobre cosas como la minería de datos, porque es la parte "más aburrida", y eso me parece un error de base.

[@alvaroramirez7049]

Que manera más entretenida de aprender algo que parece tan complicado.

[@sarcrash]

Gracias por tan increíble contenido que generas, en verdad aclaras muchos de los conceptos ambiguos que conocía.

[@cindymujica3004]

Muy buen video, excelente explicació, solo ten cuidado con que las cortinas de audio no opaquen la voz como en el minuto 6 al 8. Fuera de eso, genial la serie de estos 2 videos.

[@alvarotorijano]

Muchas gracias por los videos, me estas ayudando con mi tfg mas que mis tutores. Cuando tenga dinero te lo agradezco en patreon! De momento share, like, susbscribe.

[@willosuna6913]

Simplemente el mejor canal hispano sobre IA. Gracias!!

[@santiagolarreahenao3644]

Me encantan tus videos, recien estoy empezando en el Machine Learning y me ayudan muchisisisisimo a entender los conceptos que se manejan.

[@Gamma3]

Muy buena explicación . 10/10

[@juanma513]

Buenísima explicación de esos conceptos y buenísima asociación con problemas y soluciones reales, enhorabuena!

[@LuisEnMarroquin]

Excelente contenido y edicion, de lo mejor que he visto en KZbin

[@felipemantilla1039]

Que animación tan preciosa

[@gabokings260388]

Felicidades amigo, tu contenido es de calidad. Explicas súper bien algo tan complejo

[@jorgeavilamorales2985]

Cuando la parte 3? :B que excelente explicación !

[@matiasjana8553]

Excelente!! Muchas gracias por tu gran trabajo, los videos son muy claros y me han servido muchísimo

[@JuanGaby_profes]

Excelentes videos, estoy estudiando mi maestría y este canal es oro puro! Gracias crack! Saludos desde Ecuador!

[@WilliamTorres1100]

Un video sencillamente excepcional.

[@lautaroscarafia185]

Y hasta que KZbin me recomienda ver algo digno de ser visto!!. Muy buen canal, nuevo sub

[@Leonardoacosta287]

la edición de vídeo es excelente y el contenido del mismo también esta a la altura. Excelente canal!

[@NuGeera]

¡¡GENIO!! Increíble video, la edición y la información... uf 10/10

[@miguelcampos867]

Me estas ayudando tela con mi TFG. Necesito el síguiente episodio

[@edyal38]

Excelente explicación y estamos a la espera del siguiente video

[@MrRelujo]

excelente video, explica el overfitting de una manera sencilla y concisa

[@akaibake7999]

11:38 se estaba poniendo muy épico. Quería más yo xD

[@miguelalba2106]

dependiendo del problema y la cantidad de datos, inicialmente si no se tiene una muestra muy grande lo mejor es hacer cross validation, luego de ahi en adelante aplicar regularización , incrementar los datos (ex. augmentation), seleccionar mejores hyperparameters, cambiar la estrategia de optimización, seleccionar buenos features(ML tradicional) , en caso de redes neuronales hacer mas simple la arquitectura, etc.

[@zteck8349]

Tío me sirves de inspiración en la edición de video. Aún no subo video. Pero ya te digo que eres mi inspiración!

[@sclosas123]

IMPRESIONANTE!!!! la explicación!!! Capo Capo!!!

[@martinbeltrame8725]

Me encanta la edición de tus videos. Realmente notables!!

[@cia243]

Grande! sigue con esto lo haces muy bien! espero poder llegar a entender todos los conceptos que expones algun dia xd

[@yeltsinandresniqueparedes8510]

Eres el puto amo, saludos desde Perú.

[@DavidPerez-ku9op]

Brutal el contenido de tu canal. Felicidades!!

[@YOLITOPINTO]

Tremenda calidad, 10 de 10

[@damianmorales5791]

muy muy bueno! mas videos porfa

[@gabrilrh]

Me mejor canal de IA y quizás el mejor en todo YT 💓

[@dankoambrus]

Hola Carlos. Excelente video para explicar como evitar el Overfitting, sin embargo me queda una inquietud. En ninguna parte del video te refieres a la calidad de los datos con los que se está entrenando el modelo. Sucede que si el set de datos de entrenamiento es muy ruidoso estoy "obligando" al modelo a aprender ruido y con eso mermando significativamente la capacidad de generalizar y produciendo Overfitting. En muchas ocasiones puede ser mucho más simple un pre proceso al set de datos de entrenamiento para reducir el ruido y con eso mejorar significativamente la capacidad de generalizar. El ruido a veces es fácil de identificar y de reducir con algún algoritmo. Por ejemplo en el caso que mencionas en el video muchos parámetros fisiológicos de los pacientes esperaríamos que estén dentro de cierto rango, y si no lo están ese dato probablemente es ruido. Algo similar sucede si estoy entrenando un modelo para que reconozca voz, la mayor cantidad de información de la voz se concentra en el rango 300 Hz - 3.300 Hz (es el ancho de banda de un canal telefónico), por lo tanto pasando el audio por un filtro pasa banda de ese rango de frecuencias evita entrenar el modelo con frecuencias que no aportan información. Otro caso es cuando el set de datos de entrenamiento contiene información contradictoria. Por ejemplo, si estoy entrenando un modelo en un problema de clasterización para que reconozca imágenes de animales y le muestro una foto de un gato y lo clasifico como "gato" y más adelante le muestro la misma imagen y la clasifico como "perro" también estoy produciendo Overfitting. La Big Data está llena de ejemplos como estos y con un pre proceso es relativamente fácil de corregir, evitando con eso entrenar los modelos con una Big Caca. También es relevante la reducción de dimensional. La tendencia es entrenar los modelos con todas las variables de entrada que contiene la Big Data, tal vez por pereza o por desconocimiento de las relaciones implícitas que tienes los datos que se pretenden modelar. En el mismo ejemplo del video, si el set de datos de entrenamiento contiene el número de habitación donde se hospitalizó el paciente y utilizo esa información para entrenar el modelo, esa información no está aportando en nada en la capacidad de predicción del modelo. El tener un conocimiento de la naturaleza de los datos que se están utilizando para entrenar es muy relevante para mejorar la capacidad de generalizar y por lo tanto la capacidad de predicción posterior. No es lo mismo entrenar un modelo con 100 dimensiones a entrenar uno con 10 que son las realmente relevantes. Determinar cuáles son relevantes puede ser un problema no trivial pero ayuda mucho el conocer la naturaleza de los datos y tal vez utilizar algunas herramientas como análisis de componentes principales.

[@shuerseba]

Necesito más de esto

[@OvaleTv]

Exelente. Ya espero la 2da parte

[@albertoam4448]

*Como chingaos llegue aqu!!!* Ok. Ya me suscribi jejeje. Mi profesión es totalmente alejada de esto pero….. este video estimuló mi cerebro. Ya hasta estoy pesando estudiar Analista programador. ok no es para tanto…

[@kzkn1]

Muy bien explicado

[@joshuarojas8820]

Eres asombroso

[@almags165]

Qué gustazo ver este video!

[@rcaballero19]

Hola Dot CSV tengo 2 preguntas: ¿Tienes algún vídeo donde expliques el proceso de cómo elegir un modelo y como entrenar a la red? ¿Como haces esas animaciones tan llamativas? Un saludo y gracias por tu contenido, es realmente útil.

[@walterkinomoto4593]

Buen video saludos desde Mendoza, ARGENTINA

[@juanbernal-dv1hg]

genial otro vídeo viva Dot SCV!!!!! Gracias por darnos nuevos conocimientos y aprender mejor sobre Inteligencia Artificial. me encanta el Machine Learning 😏

[@santiagomaciasvillegas2186]

Eres genial amigo un abrazo desde San Jerónimo antioquia Colombia

[@Maegop88]

Excelente video Gracias

[@0990nacho]

Excelente! Cuando empiezas con otros métodos como SVM, decision tree? Hace un año vengo leyendo papers para mi tesis de maestría y aprendi poco en mucho tiempo, con estos videos me ha hecho aprender mucho y reforzar conocimientos previos. Gracias!

[@Chopin64000]

Excelente video ¡¡¡ Felicidades

[@MagnusAnand]

Que bien explicado

[@get_outofhere]

Me tiene capturado este canal

[@jotixh]

Falto nombrar la validación cruzada (cross validation) como otra estrategia de generalización. Por cierto muy buen video.

[@dmitry2]

Excelentes animaciones, muy buena explicación! Gracias y saludos!

[@SoyBiotec]

¡Qué chulo Carlos! Una dudita: ¿puede ser interesante hacer varios modelos con muestras distintas de datos para el entrenamiento y para los tests? Es decir...varios modelos cortando los datos por un sitio o por otro (después de randomizar). ¡Espero el siguiente vídeo!

[@Magistrado1914]

Excelente miniserie 20/11/2020

[@Jose4589]

Personalmente para validar el modelo utilizo un mezclado aleatorio durante varias veces, reentrenando el modelo nuevamente, comprobando así que independiente de los datos de train y de test que elija, el modelo generaliza correctamente. Aunque luego hay que entrar en sí los datos utilizados para predecir o estimar nuevos valores están en la distribución de los entrenados y los usados para test. Las técnicas de preprocesamiento pueden ayudar en estos casos.

[@alejandrovillalobos1678]

genial genial tus videos, muchas gracias

[@jormansandoval7357]

wow... pero que excelente video!!!!!!!!

[@alucard11061989]

muy buen video , claro y sencillo!

[@jmroca212]

Aplausos maestro excelente. !!!!

[@juanmanuel3937]

Magnifico¡¡ que mas se puede decir, eres un genio. saludos.

[@RAFALAMAO_]

Eres el mejor :,), gracias por existir

[@yatusabesnetaquesabe679]

Definí que es la conciencia y quizás también y es aún más pertinente que es la inteligencia