Tutorial: LIMPIEZA DE DATOS con Python y Pandas

[@codificandobits]

🔥🔥Academia Online: codificandobits.com/ 🔥🔥 🔥🔥Asesorías y formación personalizada: codificandobits.com/servicios/ 🔥🔥

[@abelgomezmendez2766]

Manual de cómo hacer un videotutorial de ciencia de datos. Este contenido tan explícito y práctico no se encuentra fácilmente.

[@linacastaneda5854]

Este video es oro para mí. Muchas gracias por compartir tu conocimiento de una forma tan sencilla y entendible!

[@dagcomunica5921]

Magnífico que expliques detalladamente todo el proceso de principio a fin. Gracias por el video

[@axelalburquerque706]

Me encantó el video esto era lo que estaba buscando paso a paso como se limpia un csv, porque en otro canales explican de forman muy distintas y no entendia el orden de como limpiar

[@JUANDAVID-wz4pk]

Te amo viejo, eres un crack, excelente explicación

[@tomasscopelliti9362]

Te quiero agradecer por tu excelente trabajo. Estoy estudiando ciencia de datos y claramente la limpieza y el análisis es lo que mas tiempo te lleva en un proyecto. Este video lo explica de forma muy clara en sencillos pasos. Seguramente cada dataset tiene su vuelta jaja, pero me ayudaste mucho. Te mando un abzo desde Arg!

[@codificandobits]

Muchas gracias por tu comentario Tomás y un gran abrazo desde Colombia!

[@tomasscopelliti9362]

@@codificandobits Tengo algunas dudas. Primero se debe realizar un análisis exploratorio y luego la limpieza? o al revés? Y la otra duda es si esta limpieza aplica a todos los dataset. Muchas gracias y perdón las molestias! 😅

[@silvanapaezjimenez1475]

@@tomasscopelliti9362 misma duda !

[@andresrafael1570]

Muchas gracias Profe, me ayudo muchisimo!

[@williamBarr586]

Excelente explicación, me aportó mucho. Corregí e implementé varias líneas de código que clarificaron mi df y mis objetivos.

[@albertorubio3413]

1 año y 7 días de que salió este video. Tremendo su valor... (ojalá así explicaran en la escuela en la que estoy inscrito). Solo para agregar aunque sea un poco, creo que en la columna 'contact' también pudieron unificarse "cellular" con "mobile". Espero pronto unirme a tu academia en línea. Muchas gracias.

[@elalfa100]

Que espectacular. Es para ver diez veces y asimilar como conocimiento. Muchísimas gracias

[@mariag9914]

Me encanto!!! Muchisimas gracias, estoy haciendo un curso/carrera de ciencia de datos, pero la verdad es que es pura teoria pero casi nada de practica y estoy muy perdida. Te re agradezco y se entendio todo perfectamente. Muchas bendiciones. Saludos.

[@gustavocristiani3197]

Genial video tutorial. Muchas gracias por compartir

[@adrie1en]

Buenísimo. Fui realizando el paso a paso mientras explicabas. Quedo atenta a tus vídeos en caso de que haya una continuación para la siguiente etapa del análisis! Gracias!

[@codificandobits]

Qué bueno que te haya gustado el video... Sí, en unas semanas viene la continuación (análisis exploratorio). Un saludo!

[@ingluissantana]

El siguiente video se ve prometedor!!!! Gracias!!!!

[@javierarrieta9573]

Eres un profesor increible, muchas gracias por compartirnos todo lo que sabes!

[@aflsrm]

Excelente explicación ingeniero. Muchas gracias. Seguire paso a paso sus redes. Dios lo bendiga.

[@codificandobits]

Gracias por tu comentario y un saludo!

[@manuelserna1369]

Excelente explicacion del potencial de python para la limpieza de datos, michas gracias por este video.

[@guillermolodeiro]

Muy buen video, claro, completo y bien explicado. Muchas gracias!

[@ivandelgado1902]

Muchas Gracias por compartir su conocimiento. Excelente.

[@geovanyuribeaguirre8776]

Muy buen tutorial, lo único que le agregaría sería la lógica de algunas variables, por ejemplo, la variable día aparece como variable numérica, cuando en verdad debería ser una variable categórica. Para los que están empezando, algo que me funcionó en su momento, era pensar si tenía lógica el promedio de esa variable, de modo que si no tiene lógica utilizar el promedio, pues es porque no tiene sentido utilizarla como númerica. También hay que poner cuidado con esto al modelar, ya que internamente le están dando más relevancia a unas categorías con respecto a otras.

[@codificandobits]

Muy buenas sugerencias Geovany! Y tienes razón acerca de los días: más que variable numérica debería ser categórica (ordinal). Un saludo!

[@mecatronicaduke]

Muchas gracias ingeniero

[@scheylama6806]

Buenisimo el video entendi todo graciass y felicitarlo por su Excelente trabajo y metodologia.

[@familiaduranromero2931]

Excelente resumen, muchos tip´s necesarios para estas actividades. Muchas gracias Profesor.

[@codificandobits]

Me alegra que te haya gustado. Un saludo!

[@tecomAGS]

Excelente contenido felicidades

[@marianaduranhoyos993]

Me encanto el vídeo ¡Muchas gracias!☺

Excelente video... Explicado de una manera clara y concisa ... Muchas gracias 😃👍

[@fernandochacon7630]

Muy buen video, muy claro. Muchas gracias!!

[@dagcomunica5921]

Gracias por tan magnifico aporte

[@PabloYadeniVelasquezAtencio]

Excelente video, muy claro ...

[@dwrn4656]

Muy buen video, muy explicativo en su punto Thanks

[@fisicaparalavida108]

Muchas gracias por este vìdeo. Supongamos que tuvieramos una columna con un ùnico subnivel, còmo harìamos para eliminarla?

[@mauropereyra591]

Excelente video, me ha ayudado mucho. Me queda una duda de si al final de las unificaciones de valores de las columnas tiene sentido revisar nuevamente los duplicados, ya que podía haber filas consideraras distintas pero luego de la unificacion (Por ej: ukn a unknown) quedaron como iguales.

[@dondotcom9901]

Tremendo video, por lo util y por lo claro. Gracias amigo!!

[@elrama6915]

Excelente video y muy bien explicado!!!.

[@StrawberryAlek]

Graaaan video, me fue de mucha ayuda, gracias.

[@franciscogonzalezortiz3561]

Excelente video, muchas gracias

[@ruthruth7218]

¡Gracias!

[@raulsegioespejoticona9222]

muy bien explicado

[@jorge_luis_174]

Excelente, aprendi un monton!

[@michelromeroesquijarosa5657]

31:17 esta notacion me afecta valores en otras columnas. Ese valor con el que corrijo el erroneo se me agrega como valor en todas las columnas del df con la cantidad de veces que se cumple esa condicion. Me puede brindar luz al respecto?

[@holalula2032]

Consulta! Ahi donde dice ruta = (xxxx) por que entre medio dice video?

[@fabriciogd8000]

me has salvado estoy agradecido

[@skalliberx6346]

Muy bueno el video. Muchas gracias.

[@mitchelnunez753]

Excelente video Miguel! sigue trayendo más contenido con la manipulación y análisis de datos :)). Por cierto, en que parte está el notebook de colab que dijiste que estaba en la descripción?

[@codificandobits]

Hola Mitchel gracias por el comentario. Sí, en un próximo video veremos el análisis exploratorio de este set de datos. Y en la descripción del video encuentras el enlace al notebook + dataset. ¡Un saludo!

[@mitchelnunez753]

¡¡¡Muchas Graciassssss!!!

[@Celeste13_]

Esa parte de google.colab y lo del drive me tira error, si yo tengo el archivo en mi escritorio, ¿Cúal seria la escritura de código?

[@silvanapaezjimenez1475]

Que buen contenido! , la limpieza de datos seria un paso despues de haber realizado en analisis exploratorio ?

[@codificandobits]

Qué buena pregunta Silvana. Creo que no podría asegurar que en todos los casos primero va la limpieza y luego el análisis. A veces durante el análisis exploratorio nos podemos dar cuenta que debemos continuar limpiando los datos para poder luego analizarlos. Todo depende en últimas de las características particulares que tenga cada set de datos.

[@valeriacastillo7428]

Donde puedo ver El video de analisis de Estos Datos?

[@AndreaSanchez-ge3wk]

Excelente, gracias!

[@ebersolorzano6448]

Gracias por compartir su conocimiento. Cuando se usa regex=True en la siguiente linea de código? data['job'] = data['job'].str.replace('admin.','administrative', regex=False)

[@alcibiadescastro8784]

Excelente maestro

[@mijail.mija-ALM]

Suscrito! gracias por compartir tu conocimiento.

[@nara.titan28]

Hola muchas gracias por tus contenidos! Pregunta: es necesario limpiar y paramétrizar el Dataset, previo a la decisión de algoritmos de ML para optimizar la evaluación? O como sugieres proceder?

[@nara.titan28]

Me refiero a un Dataset de variables climáticos en series de tiempo.

[@codificandobits]

@@nara.titan28 Sí, siempre es necesario limpiar el dataset antes de cualquier análisis o procesamiento. ¿A qué te refieres con parametrizar?

[@zantinibarassi4925]

Los datos faltantes no serian los non null?

[@julianjulianjulian380]

una pregunta, cuando utilizo esta forma de reemplazar: data[data['contact']=='phone'] = 'telephone' me termina convirtiendo todas las columnas en obectj, que sera lo que estare haciendo mal? con .str.replace no tengo ese mismo problema

[@codificandobits]

Hola Julián. El resultado que indicas es el esperado, pues "telephone" es una variable tipo string que en Pandas se representa precisamente con el tipo de dato "object". ¿Qué tipo de dato obtienes al usar "str.replace"?

[@marloncarrillo1409]

Buen día estimado Profesor, le puedo hacer una consulta ¿Cómo puedo determinar la factibilidad de uso de un dataset para un proyecto específico?

[@codificandobits]

Marlon es una pregunta muy difícil de responder sin conocer los detalles. Pero de forma general deberías tener en cuenta: 1) ¿Qué problema quieres resolver? 2) ¿Que producto/resultado final esperas tener una vez resuelto el problema? Teniendo claras las respuestas a estas dos preguntas debes determinar si tu set de datos tiene las características que corresponden a las respuestas que acabas de dar. Como te digo, es una respuesta muy genérica. Si me das más detalles te puedo orientar mejor.

[@marloncarrillo1409]

@@codificandobits Buenas noches estimado profesor, gracias por la respuesta, soy novato en el tema de machine learning, pero ahora me encuentro trabajando en un proyecto referente al ancho de banda, he encontrado un par de datasets, pero aún no se si sean los adecuados para el proyecto que le comento. ¿Tendrá alguna otra red social dónde contactarlo, para que me brinde un par de consejos?

[@ingluissantana]

Que buen video!!!!!! Gracias!!!!

[@antonioyt7719]

gracias por el tutorial! :D

[@dustin1520]

That's what she said

[@ebersolorzano6448]

Excelente video!

[@leoohernandez4255]

Hola Profe excelente video, solo tengo una duda. 1. Que pasaria si en la parte de subniveles uno tiene muchos de estos, en este caso en el video teniamos 10, 8, 5 etc.. pero si hablamos ya de 10.000, 8.000, 50.000 subniveles el histograma saldria tan grande que quizas daria la misma, ¿Cómo se manejaria en ese caso?

[@codificandobits]

Hola y qué buena pregunta. En este caso existen varias alternativas (aunque al final todo dependerá de las particularidades de tu set de datos y del problema que quieras resolver). Por ejemplo podrías implementar técnicas de reducción (es decir eliminar algunos subniveles que no contengan muchos datos) o de agrupamiento (clustering). O usar el histograma para ver cuáles de estos subniveles son menos frecuentes y (si el problema lo permite) eliminarlos, o también podrías considerar técnicas de "cross-tabulation". De nuevo, es necesario conocer en detalle el problema a resolver y el set de datos para determinar el camino que resultaría más adecuado. Un saludo!

[@dianacarolinanavidadnavida1812]

Mil gracias llevo una semana buscando como hacer eso😢

[@codificandobits]

:) :) :)

[@di-egohumilde4515]

22:50 En estos casos no deberíamos primero asegurarnos de que son pocos los datos que vamos a borrar? O almacenarlos en otro DataFrame temporal? Porque si borro por accidente demasiados datos ya valí vrga no? ajaj

[@salvadornunez23]

espectacular

[@pamelacasis4628]

Muy Buenooo!!!!

[@OmerEspinoza]

Excelente…!

[@yhh610]

excelente video , es posible que compartas el notebook?/?/??/?

[@codificandobits]

Claro que sí. En la descripción del video encuentras el enlace al código fuente

[@robertosoruco3656]

Excelente

[@omararga9846]

estimado, seria tan amable de pasar el note y el set de datos, gracias

[@codificandobits]

Claro que sí Omar. El enlace lo encuentras en la descripción del video. ¡Un saludo!

[@omararga9846]

@@codificandobits me recomendas panda para leer un archivo de 168 gb en formato txt?

[@cris.bolsillos]

Hola! de verdad espero me puedas ayudar, soy nuevo en todo esto. Si por ejemplo de la columna age, yo quisiera solo ver la información de los que tienen 50 años, pero manteniendo el resto de información referente a esas personas con esa edad en particular, cómo lo puedo hacer? la verdad que por más que trato de pensar como hacerlo no encuentro la solución. Te agradecería mucho la ayuda!

[@AlejandroMorales-pk6pr]

Age = data[data["Age"]=50]

[@alexandervillegas1437]

Grande

[@jorge_luis_174]

Aca en Perulandia te llaman mas de 300 veces al mes. Son unas ladillas!

[@davidaquino64]

Tengo una duda en qué área está o que perfil tiene porque en la unam e ipn la manejan como ciencias físico matemáticas que debemos de saber matemáticas ciencias de la computación estadística y conocimiento del negocio en qué perfil está porque unos me dicen que es físico matemáticas otros que es tecnológica que perfil tiene en realidad esa es mi inquietud

[@carloscardenas3459]

Excelente video Muy bien explicado !!