Cross-validation (o Validación Cruzada) para Evaluar Modelos de Machine Learning con Python

Para citar este recurso educativo utiliza la siguiente referencia:
Gutiérrez-García, J.O. [Código Máquina]. (2021, 13 de Diciembre). Cross-validation (o Validación Cruzada) para Evaluar Modelos de Machine Learning con Python [Video]. KZbin. [Incluye aquí la URL del video].
👉 Xiperia ofrece consultoría empresarial que transforma datos en conocimiento accionable para alcanzar los objetivos de tu negocio. Conoce más en www.xiperia.com
ℹ️ Octavio Gutiérrez es el único responsable del contenido, afirmaciones y opiniones expresadas en este video, las cuales no están vinculadas a las organizaciones a las que está asociado.
🌐 Para conocer más sobre Octavio Gutiérrez, visita su perfil en LinkedIn / octaviogutierrez
Para guiar tu aprendizaje, en este vínculo ( • Curso de Inteligencia ... ) se encuentra una guía secuencial para aprender:
1. Programación Básica con Python;
2. Manejo de Datos;
3. Visualización de Datos;
4. Análisis de Datos; y
5. Aprendizaje de Máquina y Ciencia de Datos.
********************************************
Conoce cómo se deben evaluar los modelos de aprendizaje de máquina (ya sea de regresión o clasificación) para determinar apropiadamente su poder de generalización. Este video explica la técnica de validación cruzada (cross-validation): uno de los mecanismos más utilizados y robustos para evaluar modelos de aprendizaje de máquina. Además, se presenta cómo evaluarlos utilizando la librería Scikit-Learn de Python.
Índice del Video:
0:54 Evaluación tradicional
5:09 Validación cruzada ¿Por qué?
5:50 Validación cruzada ¿Cómo?
9:41 Implementación con SkLearn
⭐ Apoya a Código Máquina dando un Like, Comentando, Compartiendo o con un Super Gracias.
⭐ De la co-fundadora de Código Máquina, productos de cosmética natural SINHAKI:
www.amazon.com...
El código y datos del video están disponibles en GitHub github.com/Cod...
#CienciaDeDatos #AprendizajeDeMaquina #DataScience #MachineLearning #ScikitLearn #AprendizajeAutomatico #python

[@CodigoMaquina]

👉 Xiperia ofrece consultoría empresarial que transforma datos en conocimiento accionable para alcanzar los objetivos de tu negocio. Conoce más en www.xiperia.com

[@marianocastelli5172]

Cada vez que veo una clase 'maestra' no dejo de agradecer por la excelencia para transmitir el conocimiento, nuevamente muchas gracias Octavio!!!

[@CodigoMaquina]

Muchas gracias por escribir este mensaje

[@yngter]

Excelente, tu explicación es muy buena, explicas en forma clara y al detalle, te felicito 👍👍

[@CodigoMaquina]

Te agradezco mucho!!

[@giovannicordova4803]

Excelente explicación, no solo es un canal muy bueno explicando ML en español, es muy bueno explicando ML/IA en general.

[@CodigoMaquina]

Muchas gracias por tus comentarios 😉

[@JavierCarpintero]

Eres un excelente profesor. Te saludo desde Barranquilla Colombia

[@CodigoMaquina]

@JavierCarpintero muchas gracias por tus palabras. Saludos desde la Ciudad de México :)

[@brahianserna694]

Que canal tan bueno, un moton de detalles que uno no sabe y que pueden hacer la diferencia las aprendo acá.

[@CodigoMaquina]

Brahian muchas gracias por tus comentarios y por interactuar en el canal :)

[@EduardoMarck-jo6mt]

Thanks!

[@CodigoMaquina]

@EduardoMarck-jo6mt muchísimas gracias por creer en este proyecto y por apoyarnos. Como una pequeña muestra de nuestro agradecimiento, por favor échale un ojo a nuestro último video de "backpropagation" por ahí del segundo 48: kzbin.info/www/bejne/n4DWg2B7eJ6tbKs

[@fpicado1]

Este canal es oro!

[@CodigoMaquina]

¡¡¡Muchas Gracias!!!

[@paulaalbornoz7]

excelente!!!, muchas gracias por su contenido, muy claro y entendible!

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@JuniorLeiva]

Muchas gracias Octavio, todo a quedado claro !!

[@CodigoMaquina]

Muchas gracias por comentar :)

[@andresespejogoez3348]

Los videos de este canal son demasiado útiles!!. Muchísimas gracias

[@CodigoMaquina]

¡Muchas gracias!

[@josemanuelgarciaabreu2973]

La mejor explicación del tema que he visto por internet.

[@CodigoMaquina]

José Manuel muchas gracias por tus comentarios y por seguir el contenido del canal :)

[@manuelcorrea256]

Muchas gracias por el material, es de calidad y claro

[@CodigoMaquina]

@manuelcorrea256 muchas gracias y feliz año!!!

[@ivanferre5708]

Excelente explicación.!! te ganaste un nuevo suscriptor

[@CodigoMaquina]

¡¡¡Muchas gracias!!!

[@joseleonardosanchezvasquez1514]

Genial buen video, ere muy bueno ojala sigas subiendo mas videos

[@CodigoMaquina]

Gracias por tu apoyo José. Saludos!!

[@foland2619]

Todos los videos son una genialidad, ilustrativo, claro, didáctico. Queda de uno el estudiar y aplicar lo que mencionas Octavio. Saludos

[@CodigoMaquina]

Muchas gracias por tus comentarios :)

[@sebacele]

Excelente canal , sos muy buen profesor . Saludos

[@CodigoMaquina]

¡Muchas gracias! :)

[@fer12858]

Joya de video, una consulta, los subgrupos para la validación cruzada también son tomados los datos de forma aleatoria (como se divide el train y test)

[@luisaaron144]

Muchas gracias por el video! De verdad, muy enriquecedor! Sigue así!

[@CodigoMaquina]

¡Muchas gracias por tus comentarios! :)

[@brunocordova5808]

Buenisimo!

[@CodigoMaquina]

Muchas gracias por tus palabras!!!

[@sergiohernanvazquez6469]

super claro, gracias Octavio!

[@CodigoMaquina]

Gracias por interactuar y por tus comentarios :)

[@juanpablocruz6225]

Gracias Octavio, excelente video.

[@CodigoMaquina]

Muchas gracias por ver el canal e interactuar con nosotros :)

[@brunocordova5808]

Mas claro que mi profesora de data science

[@HEBERTHENRIQUEDELCARPIOMARAZA]

Gracias, muy buena explicaciòn

[@CodigoMaquina]

@user-do3wk5ng2h es un placer. Feliz año!!!

[@msaretto]

Excelente Octavio nos aterriza un poco el tema. Te puedo sugerir que incluyas entre los videos , uno de modelo de redes neuronales de sklearn. me intereza mucho Saludos

[@CodigoMaquina]

Muchas gracias por tus comentarios y por esa excelente sugerencia. Muy probablemente iniciando el año metamos algunos videos sobre redes neuronales :)

[@emmanuelpena2653]

Como siempre excelente video, solo una duda... a la hora de configurar croos_val_score siempre debemos agregar las variables completas(X=X, y=y) sin división? como lo realizaste en el video, o debemos aplicar Croos Validation solo con los datos de entrenamiento (X=X_train, y=y_train), muchas gracias Octavio.

[@joseleonardosanchezvasquez1514]

La Croos Validation solo se hace sobre los datos de entrenamiento

[@CodigoMaquina]

Muchas gracias por tus comentarios y por tu pregunta. Si tienes muy pocos datos, entonces, si se utilizan todos los datos. Sin embargo, idealmente, si hay muchos datos, se utiliza un cierto porcentaje (ejemplo el 80%) de los datos para determinar los hiper-parámetros de un modelo usando cross-validation, y el resto de los datos (ejemplo 20%) se utiliza para evaluar el desempeño del modelo. Espero la respuesta ayude un poco :)

[@D3ser4]

@@CodigoMaquina cuantos datos serian muchos como para que ameriten hacer un split de los datos y separar ese 20% para dejarlo para evaluar?

[@jrobledo25]

¡Excelente explicación! De las mejores que haya escuchado, tengo una pequeña duda ¿Es una buena práctica al momento de dividir los datos en train, test y validación utilizar un K-fold cross validation para que los datos estén muy bien permutados o no vale la pena?

[@CodigoMaquina]

Gracias por preguntar. Muchas librerías ya realizan un muestreo aleatorio para crear los folds de cross-validation. Entonces, no habría ganancia al realizar un doble muestreo aleatorio. Gracias por el ver el canal :)

[@KevinRodriguez.96]

Puedo hacer una validación cruzada teniendo los datos ya clasificados fuera de python?

[@yngter]

Permíteme una pregunta, en dónde puedo encontrar una guía respecto de una hoja de ruta para evaluar cada modelo, es decir: 1. Cómo selecciona el dataset. 2. Cómo limpiar, ordenar, preparar el dataset 3. Cuáles son las librerías utilizadas, 4. Cuál es la estructura del modelo. 5. Aparte de la estructura qué métricas de desempeño o ajuste se deben realizar 6. Qué otras recomendaciones más hay que realizar al momento de desarrollar un modelo. 7. Etc. Saludos !!

[@jesusg54g]

Muy buen video gracias por compartir la información!!! Tengo una pregunta respecto a este método, se podría dividir el dataset en train y test calcular la matriz de confusión y las métricas de score para compararlos con la validación cruzada? Lo pregunto porque podríamos tener un dataset y aplicar distintos tipos de algoritmos de clasificación y con la validación cruzada podríamos determinar cual de ellos tiene la mayor precisión y a su vez la mejor aproximación a la métricas calculadas previamente, seria de utilidad hacer esta comparación?

[@CodigoMaquina]

Gracias por tus comentarios y pregunta. Al respecto, si tienes los datos suficientes, es preferible comparar los diferentes modelos utilizando validación cruzada pues es una evaluación más robusta. Si no hay datos suficientes, puedes comparar los modelos usando su rendimiento con el test set. Lo que te recomiendo es evaluar todos los modelos utilizando la misma metodología (ya sea test set o validación cruzada) para que los resultados sean comparables.

[@israelmg1749]

😀

[@CodigoMaquina]

@israelmg1749 lo mejor para este 2024!

[@jorgemarroquin9413]

excelente contenido , sin embargo lo vi a una velocidad de 1.75 y aun así me parece que habla lento, podría considerar ponerle mayor velocidad antes de subirlo, super clara la explicación

[@RaulOramas]

A mi me parece bien la voz tal cual está. Tal vez en algunos países se habla mucho más rápido.

[@yaredlevi]

@@RaulOramas soy chileno y me acomoda la velocidad en la que explica AJAJAJ

[@edwinnoebadillorivera5621]

@@yaredlevi jajaja qué buena¡