Escalamiento, Normalización y Estandarización de Datos con Python para Ciencia de Datos

[@CodigoMaquina]

👉 Xiperia ofrece consultoría empresarial que transforma datos en conocimiento accionable para alcanzar los objetivos de tu negocio. Conoce más en www.xiperia.com

[@placebojunior9779]

Tu tutorial es sinceramente largo, e intensivo. Pero lo excelente cuesta, voy apostar por tu curso es matematica pura y python que mejor coctel me sucribo a tu canal quiero ver mas.

[@CodigoMaquina]

Muchas gracias por tus comentarios :)

[@kykexo]

Lo explicó mucho mejor que el profesor del curso que estoy tomando.

[@CodigoMaquina]

Muchas gracias por interactuar con el contenido del canal.

[@diegocheloni]

Explica bien. Solo que habla que tenemos que quitar outliers. Pero hay casos particulares donde estamos buscando esos outliers. Buen canal

[@jannetdavalos]

Coincido plenamente. Muchas gracias por compartir sus conocimientos.

[@DIEGOGERMANGUERREROMORENO]

Un profesor Espectacular, no deja nada a barca todo el tema, gracias por este curso tan excelente, lo hacer ver fácil. Un gran saludo y felicitaciones desde Bogotá Colombia

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal y saludos desde México!!!

[@franklinmanjarres7534]

Muchas gracias por la explicaión muy clara la explicación 💯💯💯💯💯💯💯💯💯💯💯💯💯💯💯💯

[@CodigoMaquina]

Gracias por comentar y por seguir el contenido del canal!

[@victordeltoro1495]

Es el mejor canal que he encontrado sobre estas temàticas. Te orienta de manera adecuada en el aprendizaje

[@CodigoMaquina]

En verdad te agradezco tus comentarios :)

[@WennGonzalezPita-fs1xe]

Videos super interesantes, de sencilla explicacion, pero profunda. Muy utiles sus videos y explicaciones. Gracias.

[@CodigoMaquina]

¡Gracias por seguir el contenido del canal! 🙂

[@pedrobautistavalenzuela1678]

muy buena explicación, muchas gracias

[@CodigoMaquina]

¡Gracias por seguir el contenido del canal!

[@CRISTIANGONZALEZ-vu8gw]

El mejor canal que he encontrado para aprender ciencia de datos, felicidades, tienes un excelente contenido! enseñas mejor que lo que enseñan en universidades! saludos!

[@CodigoMaquina]

@CRISTIANGONZALEZ-vu8gw muchas gracias por tus palabras :)

[@MendJean]

Excelente!, gracias maestro.

[@CodigoMaquina]

Es un placer!!!

[@Dahiana-z3k]

muchas gracias por el video, creo que a veces en otros cursos dan por sentado que ya sabemos lo que es normalizar y no lo explican así como tú

[@CodigoMaquina]

Me alegra que el video te haya ayudado a comprender mejor estos conceptos.

[@Gustavo-rb6df]

Eres un genio, enseñas muy bien y tocas temas muy específicos y avanzados de ciencia de datos.

[@CodigoMaquina]

Eres muy amable Gustavo, es un verdadero gusto saber que los videos son de tu agrado :)

[@boasorte6808]

Este video es oro puro. Tremendisimas gracias, mega suscrito y agradecido. Saludos.

[@CodigoMaquina]

Muy agradecido por tus comentarios y por suscribirte al canal. Saludos!!

[@francopes9911]

Es una joya este canal. Muchas gracias por tus videos!!

[@CodigoMaquina]

En verdad que agradecemos tus palabras.

[@rockophill3934]

Excelente Maestro Octavio, muy claro. Gracias!

[@CodigoMaquina]

A la orden Rocko. Saludos!!

[@jesusmanuelnietocarracedo9701]

Pues otro vídeo magistral, MUCHAS GRACIAS POR EL CURRAZO!!

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@brayandanielcardenascardon3884]

Cracksaso, explicaste lo que casi nadie explica para poder entender ML

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@lilivalenciagonzalez9456]

Apenas me estoy iniciando en el mundo de análisis de datos y ML. Viendo tus videos he aprendido un montón y aclarado muchas dudas. Muchas gracias por compartir tu conocimiento

[@CodigoMaquina]

Muchas gracias por ver el canal y por los comentarios. Hacemos este contenido para personas como tú: con ganas de aprender :)

[@alejandroroag]

Muchas gracias, una forma de explicar muy clara.

[@CodigoMaquina]

Agradezco tus comentarios Alejandro 😊

[@miguelg8a]

Amigo, este es el mejor canal que he visto sobre ciencia de datos, 👏gracias por compartir este conocimiento y hacerlo de forma muy entendible. Me suscribo y compartiré este canal para que otros lo vean

[@CodigoMaquina]

Miguel muchas gracias por tus comentarios y por el gran apoyo. Gracias a ustedes podemos llegar a más personas.

[@rafita930]

x2

[@antoniosuarezvaldes9373]

Un canal académico y sistemático. Muchas Gracias por su aportación

[@CodigoMaquina]

Muy agradecido por tus comentarios. Saludos Antonio!!

[@alfonsoramos9120]

Excelente explicación, me ayudó muy bien a entender el contexto de la normalización de datos. Gracias y saludos.

[@CodigoMaquina]

Gracias por tus comentarios y por ver el canal :)

[@albaandrademorales2930]

Excelente explicación, mis felicitaciones y agradecimientos.

[@CodigoMaquina]

@albaandrademorales2930 muchas gracias :)

[@marianovila5077]

Muchas gracias por compartir, excelente los videos, ya suscripto claro. saludos!

[@CodigoMaquina]

Muchas gracias Mariano!!!

[@marycruzmezarivas9048]

Hola acabo de descubrir este canal, y realmente sigo muchos pero me quedo aquí con tus explicaciones claras y conceptos precisos. Muchas gracias por lo que haces y felicitaciones

[@CodigoMaquina]

Muchas gracias por tomarte el tiempo de comentar Mary Cruz. Me alegra saber que el contenido es de tu interés. Saludos!!

[@GustavoAAltamirano]

👋Octavio, muy claros los conceptos! felicitaciones!, me gusto mucho tu concepto de apachurrar los datos (jajaja), ya estoy esperando el próximo video con la guía (practica) de cómo mejorar los datos pasando por las diferentes técnicas de escalamiento, normalización y estandarización... (Mientras espero me doy una vuelta por tu tienda)... un saludo!

[@CodigoMaquina]

Muchas gracias Gustavo. La mejor de las suertes en la vida :)

[@rossisilvablas1646]

Entendí mucho más con la comparación en los gráficos, muchísimas gracias 😊

[@CodigoMaquina]

@rossisilvablas1646 gracias por seguir el contenido del canal y por interactuar :)

[@HPenarandaBello]

¡Excelente explicación! Felicitaciones.

[@CodigoMaquina]

Muchas gracias @HPenarandaBello

[@andersonarrieta446]

Muy buena explicación, excelente tu forma de hacerte entender. Gracias por compartir tus conocimientos. Saludos

[@CodigoMaquina]

Gracias por tus comentarios. Comentando y viendo el canal nos ayudas mucho a llegar a más personas ¡Muchas Gracias!

[@Neurofilia]

Qué genial explicación. Gracias infinitas :)

[@CodigoMaquina]

Muchas gracias, igual, infinitas :)

[@ivanflorez2150]

¡Crack!, muchas gracias por tus videos y explicaciones

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@rafita930]

esta muy buena la informacion felicidades y gracias por compartir.

[@CodigoMaquina]

Muchas gracias por tus comentarios :)

[@danielrojas4842]

Genial explicación, mucho mejor a los profesores del curso en el qie estoy

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@yeraldinvelezgalvis7840]

Super util el video, gracias amigo

[@CodigoMaquina]

Gracias a ti por comentar.

[@diegosotochavez1067]

Muchas gracias amigo! tus videos son geniales, muy claros y prácticos!

[@CodigoMaquina]

Gracias por tus comentarios. Mientras tengamos tiempo y salud, seguiremos haciendo videos educativos :)

[@ingluissantana]

Que genial este video!!!!! Gracias!!!!

[@CodigoMaquina]

¡Muchas gracias Luis! ¡Feliz Año!

[@0DaviL]

Explicas realmente genial.

[@CodigoMaquina]

Muchas gracias :)

[@alberthpinco3543]

Excelente contenido, muchas gracias!!

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@gabrielduenascatalan8836]

Muchas gracias, profesor!

[@CodigoMaquina]

Es un placer :)

[@sebastianherreragil4491]

Muchas gracias maestro!

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@pablogongora5128]

Que gran contenido, saludos.

[@CodigoMaquina]

Muchas gracias Pablo :)

[@944409]

muy buena explicación

[@CodigoMaquina]

¡¡¡Muchas gracias!!!

[@edwintoapanta1975]

Muy buena explicacion, tegno una interrogante que mas recomendable eliminar datos atipicos y luego normalizar o viceversa. O que criteria se debe ocupar uno o el otro. Gracias

[@alexvillao3827]

Muy buena explicación maestro.

[@CodigoMaquina]

Muchas gracias por tu comentario y por ver el canal :)

[@freddyBerrospi07]

Excelente aporte, podrías realizar un video donde explicas como funciona el escalador "MaxAbsScaler"

[@CodigoMaquina]

Hola @freddyyelsinberrospialvara6497 gracias por la sugerencia (vamos tomando nota) y por seguir el contenido del canal. ¡¡¡Feliz año!!!

[@Luk17a5]

Excelente como siempre sus videos! Una consulta... Se aconseja estandarizar fractures en modelos de regresión lineal simple o múltiple??

[@brauliopina7612]

the best teacher

[@CodigoMaquina]

Braulio muchas gracias por tanto apoyo que me has brindado

[@YormanCalderon-u7b]

Que buen video. La verdad. Felicidades.

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@josedejesusgarciaestrada8458]

muy buen video

[@CodigoMaquina]

¡Gracias!

[@davidbodesa4062]

Excelente explicación, muchas gracias, era justo lo que estaba buscando y despejó mis dudas. Me surgió una nueva sobre algo que comentas, al dar el ejemplo en 14:16, dices que si el salario más alto fuera $25,000, entonces el 0.5 sería $12,500 pero eso dependería de tu dato mínimo, ¿no? Es decir, si el dato mínimo fuera de $9,000 entonces tenemos un intervalo de $16,000, y el 0.5 tendría que estar en medio de ambas, o sea, $8,000 por encima del mínimo, que sería $17,000, ¿es esto correcto?

[@CodigoMaquina]

Estimado David. Tienes razón, muy a la ligera en el minuto 14:16 asumí un salario mínimo de 0 pesos. Ciertamente, está en función de un dato mínimo, un poco antes, en el minuto 13:08,, ahí sí lo expliqué bien. Gracias por la observación :)

[@amadodejesusvazquezacuna5644]

Excelente explicación maestro despeje unas dudas que tenía sobre la escala robusta y también quiera anexar que la transformación logarítmica puede minimizar el efecto distorsionador de los datos atípicos. Hay algunos algoritmos que requieren una estandarizado o un recalado como es el caso de los modelos que están basados en árboles de decisiones ya que utilizan series de desigualdades.

[@CodigoMaquina]

Muchas gracias por tus comentarios y por tus aportaciones :)

[@manueldenis730]

Este ha sido un vídeo magistral que me ayudó a entender de modo más claro estos conceptos. En mi opinión si tuviera que elegir entre estos métodos de normalización, escogería la técnica que mencionas al final aplicar primero un robusto y luego un mix-max, el primero excluye los valores atípico y el segundo distribuye los datos de forma más elegante. Pero me quedo con una duda y te agradecería en gran medida si me ayudaras a aclararlos. Si aplicara la técnica de robusto y mix-max, cómo podría aplicar la inversa para obtener los datos reales. Por ejemplo si aplicara esta técnica a una serie temporal, en ese formato no me serviría para luego predecir la serie después de haber entrenado el modelo? 🤷🏻‍♂️. Muchas gracias por los vídeos, excelentes. 👍🏻

[@CodigoMaquina]

Gracias por tus comentarios. Con respecto a tus preguntas. Primero, estas técnicas efectivamente también se usan en series de tiempo. Segundo, el tratamiento de outliers puede llegar a ser delicado y en algunas ocasiones se hace un tratamiento separado de los outliers, por ejemplo, échale un ojo a la técnica de iForest que ya explicamos en el canal (kzbin.info/www/bejne/pGOzoXdtrdODpa8). Tercero, para "aplicar la inversa" hay un método de los escaladores que casi casi se llama así: inverse_transform(). Gracias por las preguntas :)

[@alcidesteranvelasquez8548]

Muy bueno,

[@CodigoMaquina]

Gracias!!!

[@patojp3363]

Excelente 💪👏👏👏👏👏

[@CodigoMaquina]

Muchas gracias por tu comentario y feliz año :)

[@emilianoivan945]

Eres el mejoooooor

[@CodigoMaquina]

¡¡¡Muchas gracias!!!

[@Bryanrojasruiz]

gracias por el video, tengo una consulta: aplico estandarizacion robusta para mis variables cuantitativas principales que tienen una CORRELACION NO LINEAL. ?

[@CodigoMaquina]

Gracias por tu comentario y por tu pregunta. En general, la estandarización y el escalamiento se aplican a todas las variables cuantitativas. Ya sea antes o después, se puede explora si tienes variables altamente correlacionadas, lo cual podría derivar en la eliminación de alguna de ellas. Ojalá la respuesta sea de utilidad :)

[@salvadornunez23]

muy buenos tus videos, podrias hacer un video explicando bootstrapping para validar modelos ?.

[@CodigoMaquina]

Muchas gracias por tus comentarios y por tu sugerencia. Ya está anotada en la lista de videos por hacer :)

[@AlexRodriguez-go5pf]

Excelente forma de explicar con un ejemplo sencillo!! Tenía una duda, quiero imputar datos faltantes, crees que antes debería escalar los datos o los debería hacer después? Saludos!

[@CodigoMaquina]

Muchas Gracias por tu comentarios y por tu pregunta. Ejecutar primero la imputación y después de la estandarización/escalamiento o al revés, es todo un tema de discusión y está sujeto a la técnicas que se utilicen. En general, yo sugiero hacer primero la imputación y después el escalamiento/estandarización dado que las técnicas escalamiento/estandarización no están hechas para trabajar con valores faltantes. Sin embargo, imputación con KNN podría requerir primero escalar/estandarizar y después hacer la imputación.

[@elkiparionarojas9206]

gracias!!!

[@CodigoMaquina]

A la orden Elki. Saludos!!

[@adrianmauricioespinosamont1919]

gracias!

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@motivcion777]

Excelente 👌

[@CodigoMaquina]

Muchas gracias :)

[@diegocardoso3015]

Gracias

[@CodigoMaquina]

Gracias por seguir el contenido del canal :)

[@enaiza]

Demasiado claro... muchas gracias. Profe, esta transformación de los datos para efectos de aplicar procesos de ML, se revierte al finalizar el proceso? Lo pregunto pensando en sacar conclusiones a partir de gráficos cuyos valores ya no corresponden con denominaciones comunes como la edad y el salario. Muchas gracias

[@CodigoMaquina]

Gracias por tus comentarios y por la pregunta. Efectivamente, al momento de interpretar el resultado de un modelo se realiza una transformación a la inversa. De hecho, los escaladores, normalizadores y estandarizadores de sklearn tienen un método llamado inverse_transform() para tal propósito

[@metalhead63]

Qué tal estimado, no encuentro los códigos para llevar a la práctica lo visto en el video, qué nombre llevan? saludos y gracias por tomarte el tiempo de enseñarnos.

[@marlondavidarangoabella1942]

Muchas gracias por tus explicaicones. la pregunta en este caso es la siguinte: cuando se tienen dataframe con muchas más variables , se debe normalizar todo el dataframe o se debe analizar el contenido de cada variable, por ejemplo fechas o variables de tipo binomial ?

[@CodigoMaquina]

Normalmente la estandarización/estandarización/escalamiento se realiza solo con variables numéricas para alcanzar múltiples propósitos, por ejemplo homogeneizar, quitar outliers y/o debido a suposiciones que realizan ciertas técnicas de machine learning. Entonces, si una variable sigue cualquier otra distribución tendría que estandarizarse si la técnica de machine learning a utilizar trabaja bajo la suposición de que las variables siguen una distribución normal. Para el caso de las fechas, habría que ver el contexto. Si es un contexto de series de tiempo. no se modificarían y se utilizarán como índice y/o información contextual, y no explícitamente como entrada a la técnica de machine learning o de pronóstico de series de tiempo. Si no hay temporalidad asociada a las fechas (lo cual sería un poco raro pero en algunos casos sí podría suceder) y tienes pocas fechas, entonces habría que hacer una conversión numérica de las fechas como si fuera una variable categórica. En fin, hay muchas opciones y todas ellas dependen enteramente del contexto asociado a los datos. Espero mis comentarios ayuden un poco. Gracias por interactuar y por ver el canal :)

[@mauriciodiaz7467]

Buen video

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@danielc.s.8399]

Solo queria hacer una correccion, el RobustScaler esta mal la formula, es (X-mediana(X))/Rangointercuatilico, no me dío la formula que tienes tu ahi 15:22, no se calcula con desviacion estandar aunque pueda ser muy cercano a 1, el iqr = 1 despues del escalamiento, ese es el que quiere hacer 1 y la mediana = 0

[@jeanfabraruiz7994]

¿Se debería normalizar las columnas específicas que tengan altas varianzas o todo el dataframe?

[@CodigoMaquina]

Gracias por la pregunta. Es práctica común estandarizar/escalar todas las columnas independientemente de la varianza.

[@waltersantiagocoronadobudi2469]

Una consulta, a que te refieres cuando mencionas los out layers?, de antemano buena explicacion de este tema, otros canakes solo enseñan como usarlo y no explican el contexto

[@CodigoMaquina]

Los Outliers son datos atípicos o anómalos dentro de un conjunto de datos. Por ejemplo, la persona más rica del mundo es un dato atípico. Esa persona es muchísimo más rica que la gran mayoría. Tenemos un video que justo explica ese concepto utilizando diagramas de caja en caso de que desees verlo: kzbin.info/www/bejne/raTJh2d3hJ2IfNk

[@10955356]

Excelente!

[@CodigoMaquina]

Muchas gracias por seguir el contenido del canal!!!

[@antonellars22]

Buenas, estoy haciendo el curso de maching learning, y me gustaría saber en que orden podría empezar a ver tus videos? ¿La lista que tienes de Ciencia de Datos está ordenada ?

[@CodigoMaquina]

Muchas gracias por ver nuestros videos y por interactuar con el contenido. Te comento que las listas de reproducción sí tienen cierto orden, sin embargo, su propósito está más asociado a agrupar contenido. Por ejemplo, para trabajar en machine learning con python, es necesario conocer sobre numpy y pandas que no son exclusivos de machine learning, y por tal razón, esos temas no están incluidos en esa playlist. Aunque debo mencionar que en el canal también tenemos listas de reproducción sobres Pandas y Numpy. Entonces, mi sugerencia es que entres a la página del canal y sigas el orden de subida de los videos brincándote aquellos temas que ya sean familiares para ti.

[@BrownieData]

Necesito ayuda, necesito hacer una normalizacion de un base de datos de excel pero esta una columna que abarca 7 columnas es decir arriba de las columna t1,t2,t3,t4,6 meses, 9 meses , anual y nos encargaron hacer preprocesamiento para hacer la normalizacion pero no se por donde empezar😢

[@BrownieData]

Son muchos datos desde el año 1980 hasta el 2022

[@CodigoMaquina]

@BrownieData espero hayas logrado culminar tu proyecto con éxito. Lo mejor para este nuevo año!!!

[@davidcopperfield2149]

Tengo una duda porque es importante pasar los datos categóricos a datos numéricos. ¿Puede haber en un dataframe normalizados datos categóricos?

[@darwingodoy1653]

La mayoria de modelos de machine learning trabajan con datos numericos, si no deseas hacer ML no es necesario trasformar los datos.

[@victormanueljimenezguido2353]

Como puedo acceder a esos datasets

[@marlymargaritacadenamedina2570]

Profe algun libro que me recomiendes?

[@Lucas-kh2wm]

como desnormalizamos en cada uno de ellos?

[@CodigoMaquina]

Lucas gracias por la pregunta. Con respecto a ella, las mismas clases de MinMaxScaler y StandardScaler tienen un método llamado inverse_transform() que justo realiza la transformación inversa de los valores. Gracias por seguir el contenido del canal :)

[@Lucas-kh2wm]

@@CodigoMaquina gracias, en caso de un normalize ??

[@yordanxsherman]

bro que lista puedo tomar para iniciar desde cero

[@CodigoMaquina]

Te recomiendo el siguiente video: kzbin.info/www/bejne/oqDQe6GYg5qKpM0feature=shared donde encontrarás una guía que va, desde programación básica, hasta aprendizaje de máquina.

[@yordanxsherman]

es desde cero esto

[@brayanisaiperezvalenzuela8435]

cuando convierto los valores de numpy a dataframe me pone error datos_normalizer=pd.DataFrame([datos_normalizer],columns=["PM2.5","PM10","CO","C02","TEMP","HUM"]) /usr/local/lib/python3.9/dist-packages/pandas/core/internals/construction.py in _prep_ndarray(values, copy) 553 values = values.reshape((values.shape[0], 1)) 554 elif values.ndim != 2: --> 555 raise ValueError(f"Must pass 2-d input. shape={values.shape}") 556 557 return values ValueError: Must pass 2-d input. shape=(1, 8000, 11)

[@CodigoMaquina]

Brayan, gracias por la pregunta. Con el contexto brindado, no alcanzo a ver cuál podría ser el error. Espero que ya se haya solucionado el problema. Gracias por seguir el contenido del canal.