Qué es y para qué se usa la Información Mutua: Una explicación paso a paso con Python

[@CodigoMaquina]

👉 Xiperia ofrece consultoría empresarial que transforma datos en conocimiento accionable para alcanzar los objetivos de tu negocio. Conoce más en www.xiperia.com

[@todos4ta97]

Gran video, explica de una manera increíble, aun estoy aprendiendo y tus vídeos me sirve muchísimo

[@CodigoMaquina]

@todos4ta97 muchas gracias por tus comentarios tan cálidos :)

[@reinerromero7265]

Nuevamente muchas gracias.

[@CodigoMaquina]

@reinerromero7265 muchas gracias por tus comentarios!!!

[@_Nicole_lq]

Excelente video! Explicaciones claras, acompañadas de un excelente material de apoyo. Muchas gracias!

[@CodigoMaquina]

@_Nicole_lq muchas gracias por tus palabras :)

[@gama3181]

Me encantó como es que algo tan complejo pudo ser contado fácilmente

[@CodigoMaquina]

@gama3181 muchas gracias por tus comentarios y por seguir el contenido del canal :)

[@MauroVegaHidalgo]

El canal es excelente. Me parece muy buena la forma intuitiva que tiene Octavio para explicar los conceptos, y eso de verdad se agradece un montón. Sin embargo, en el afán de simplificar la explicación, Octavio a veces cae en errores, como la explicación de por qué asumió que log(0) = 0. [Alerta de "mucho texto"😅] En realidad log(x) se aleja hacia -infinito cuando x tiende a 0 (por la derecha), por lo que es un error decir que tiende a 0 (de hecho, log(1)=0). La formula de la Información Mutua funciona porque la función x*log(x) tiende a 0 cuando x tiende a 0 por la derecha (se puede calcular con L'Hopital). Yo me imagino que en el afan de no alargar más el video que Octavio usó el supuesto en el vídeo. Pero en conclusión, el canal es excepcional, y lo anterior son detalles que no le bajan la calidad al contenido que acá se explica. Gracias por tanto!

[@CodigoMaquina]

Estimado @MauroVegaHidalgo muchas gracias por tus comentarios y más por la corrección. Me hace falta tener revisión por pares como en los artículos para que no se me escapen detalles ni detallotes. Ya quedará aquí tu comentario como fé de erratas. Muchas gracias :)

[@alacocacola]

Muy buen video. Agregaría que para los valores usados en el ejemplo de la información mutua entre las variables S,sobrepeso, e T; hipertensión aparece que conocer una variable nos da toda la información sobre la otra. Y eso se refleja en la anulación de la entropía condicional H(S|T)=H(S)-I(S,T)=0 es decir H(S)=I(S,T) y de la misma manera sale que H(T)=I(S,T) porque H(T|S)=0 . Eso es porque en este caso la información conjunta cumple con que cualquiera de las dos variables, por separado, tiene toda la info. Por lo que la entropía conjunta es H(S,T)=H(S)+H(T) - I(S,T) = H(S) = H(T) , Obviamente sucede porque en el ejemplo las dos variables son idénticas y la información mutua entre ambas es máxima. Para este ejemplo se puede verificar rapidadmente que la Info mutua calculada en el video es 0.63... coincide con las entropías de cada variable por separado calculando H(S) = H(T) = -2/6 log(2/6)-4/6 log(4/6) = 0.63... = I(S,T) Es decir, todo lo contrario a casos en que dos variables aleatorias (ejemplo V y W) son independientes, cumpliéndose que H(V|W)=H(V) y que H(W|V)=H(W) porque no hay ninguna información mutua, I(V,,W)=0 , y la entropía conjunta es igual a la suma de ambas entropías H(V,W)=H(V)+H(W)

[@Acrhonoz]

Hola mi Octavio. Espero puedas subir en algún punto un video teórico/práctico de problemas de optimización usando Machine Learning. Por ejemplo maximizar las ventas, minimizar el gasto de inversión etc. se te agradecería muchísimo.

[@CodigoMaquina]

Hola @Acrhonoz optimización es uno de mis temas favoritos, aunque no es precisamente mi fuerte. No obstante, sí preparé algunos temas :)

[@reinerromero7265]

Estimado Octavio, he estado recorriendo varias de tus explicaciones para distintas etapas en la elaboración del aprendizaje de máquinas: correlaciones, covarianzas, distancias, entropía, PCA, K-means. Con ello, te comparto la inquietud sobre como enfrentar dataset que combinan variables cuantitativas, cualitativas ordinales, y cualitativas nominales. Esto, teniendo en cuenta la idea de que el cálculo de correlación debería tener en cuenta el tipo de datos (Pearson, Spearman, Tetracóricas, Policoricas, Biseriales, Poliseriales, ...). ¿Qué piensas al respecto?

[@CodigoMaquina]

@reinerromero7265 gracias por seguir el contenido del canal. Ciertamente normalmente los datos son altamente heterogéneos, lo cual representan un verdadero reto, ya sea que se esté realizando un análisis o que se esté creando un modelo. Lamentablemente (o afortunadamente) no tenemos una guía exacta y/o exhaustiva que nos diga cómo analizar datos para todo escenario, sin embargo, eso es parte de lo bonito de esta área. Nos queda entonces, seguir aprendiendo para sacar conclusiones y modelos válidos a partir de datos en función de los retos que se nos vayan presentando. Feliz año!!!

[@stevenstmrls463]

Maestro.

[@CodigoMaquina]

@stevenstmrls463 feliz año!!!

[@leomach4286]

Hola Octavio, puedo aplicar esto para hacer feature selection en series temporales? si es es así como podría hacerse. Excelente video, muy informativo.

[@CodigoMaquina]

@leomach4286 Sí es factible. Tal vez te gustaría echarle un ojo al trabajo de Liu et al. (2016) y a la siguiente librería: elife-asu.github.io/PyInform/timeseries.html#module-pyinform.mutualinfo Liu, T., Wei, H., Zhang, K., & Guo, W. (2016, July). Mutual information based feature selection for multivariate time series forecasting. In 2016 35th Chinese Control Conference (CCC) (pp. 7110-7114). IEEE.

[@carlosmontalban687]

Hola, sus videotutoriales son fantásticos y a mí me han aclarado muchas cosas (que no he logrado entender con otros). No obstante, una de sus afirmaciones me ha planteado una duda. Cuando dice que el log de 0 tiende a cero... ¿no debería ser -infinito? Para que un número elevado a un exponente me dé 0, el exponente debería ser - infinito. Lo que pasa es que en ese término tendríamos 0/6*(algo que tiende a -infinito) lo que dará necesariamente 0 (teniendo en cuenta que el 0 es definidamente 0). Igual estoy confundido y en ta caso disculpe por la duda. Gracias y un saludo.

[@Aldotronix]

y este proceso se debería hacer siempre antes de hacer un modelo de regresión o clasificación?

[@CodigoMaquina]

@Aldotronix gracias por la pregunta. Efectivamente comúnmente forma parte del proceso de creación de modelos tanto de regresión como de clasificación para seleccionar características relevantes. Sin embargo, no es un paso obligatorio, pero frecuentemente se utiliza como parte de la experimentación.