Comprensión de texto con BERT en PYTHON (Tutorial)

[@codificandobits]

🔥🔥Academia Online: codificandobits.com 🔥🔥 🔥🔥Asesorías y formación personalizada: codificandobits.com/servicios 🔥🔥

[@fortun25]

Impresionante!!! Gran trabajo

[@levidalv1419]

excelente video, muy bien explicado, gran profesor.

[@gilbertmurati2043]

Muchas gracias por hacer este vídeo. Esta genial, no encuentro palabras para expresar mi gratitud e impresión. En serio gracias por hacerlo.

[@codificandobits]

😉

[@fernandoordonez8011]

Eres el mejor ..... gracias por el aporte

[@luisjaimes9849]

Miguel gracias por compartir sus conocimientos. Me gustaría que explicara cómo entrenar a BERT para una tarea especifica.

[@jorgegaitan1508]

Genial este video, de los mejores que he visto

[@juanschjaer244]

Como no descubrí este canal antes! muy bueno me encanta. Este video y el anterior me ayudaron mucho gracias!

[@IAVIC]

Este video es alucinante!!!

[@theboringtech4465]

Wooow! Geniaal como avanza la AI y tus videos son muy explicativos! Gracias por compartir tu conocimiento

[@codificandobits]

😉

[@pablogiri812]

Por fin tuve el tiempo de poder ejecutar el código, funciono de diez, es mucho sorprendente. ¡muchas gracias!

[@codificandobits]

Si Pablo, la verdad es impresionante el desempeño de este modelo. Un saludo!

[@jorgesuescun6575]

muchas gracias, excelente video me diste claridad de como funciona BERT. Mil gracias

[@codificandobits]

Gracias por tu comentario Jorge. Un saludo!

[@Stacio6]

muchísimas gracias, desde hace años anhelaba un conocimiento así

[@codificandobits]

😉 qué bueno saberlo. Esto me anima a seguir desarrollando este tipo de contenido. Un saludo!

[@jarmandog8372]

Muchas gracias!

[@JuanCarlosGarfiasTovar]

Muy buen video, super interesante!

[@codificandobits]

Gracias por tu comentario Juan Carlos. Un saludo!

Me alegro que uses un modelo del que yo hice el fine-tuning para SQUADV2. También tienes otros modelos entrenados para el mismo fin como RuPERTa-base y electricidad-small. Te recomiendo éste último por su tamaño y resultados

[@codificandobits]

😮 😮 😮 Manuel entonces tú eres mrm8488!!! Veo que en Hugging Face tienes muchos, muchísimos modelos pre-entrenados... Qué buen aporte! Voy a revisar los dos que me sugieres y te estaré contando. Un saludo!

[@ronc3891]

Tengo una consulta logre descargarla red y los pesos a mi computadora para ejecutarlos en mi escritorio pero queria saber como descargo el pipeline para luego usarlo en mi programa que en esa parte me da error

[@wilfredomartel7781]

¿Algún tutorial donde expliques como hacer un finetuned con nuestro propio contexto?

[@aadiegoaa96]

Mil gracias por el video

[@codificandobits]

A ti por el comentario. Un saludo!

[@julissadc6303]

Muchas gracias, super claro todo

[@codificandobits]

😉

[@DESTELLOSDEREALIDAD]

Excelente video, me encantó ya me suscribi al canal.

[@codificandobits]

Bienvenido a Codificando Bits. Un saludo!

[@ayalaf26]

De verdad muchas gracias, quedé super impresionado.

[@codificandobits]

Hola Jesús. Sí, es impresionante el nivel de comprensión que se logra con esta IA. Un saludo!

[@alejandrobbb]

Gracias profe

[@zen-xp4uo]

aprendi mucho con tu video no tenia claro como entrar en esto de el machine learning.. mi intencion es crear un sistema capaz de escribir canciones metiendole como input muchisimas canciones ya existentes de artistas conocidos.

[@codificandobits]

Mmm... interesante. Comparte los resultados tan pronto los tengas, me da curiosidad. Un saludo!

[@rodrigolombana]

gracias!! es genial! tendras algún tutorial para convertir audio en texto??? me puedes dar alguna recomendación?

[@jorge.barajas]

Que interesante tengo que aplicarlo muchas Gracias.

[@codificandobits]

Realmente es muy sencillo, especialmente porque el modelo que muestro en el video ya está pre-entrenado, y con pocas líneas de código ya se puede poner a funcionar. Un saludo!

[@salvadorcontreras8946]

Está genial!

[@codificandobits]

😉

[@danielalumi5572]

Suscripto y Like, muy buen tutorial. Gracias!!!

[@codificandobits]

😉

[@cristhian4513]

siempre pendiente de tus videos, miguel :)

[@codificandobits]

A ti un saludo Cristhian!

[@pabloagreda5509]

Hola Miguel, muy didáctico y bueno el video. Te consulto si en alguno de tus cursos sigues con este proyecto hasta tener un modelo personalizado q se pueda usar.?

Excelente video, sumamente claro e ilustrativo. A modo de dato curioso, si se pregunta "Quién es la mamá de John Connor?" omitiendo el signo de interrogación de apertura, la respuesta que ofrece es "Edward Furlong"... 🤣

[@angelabaro2]

Genial! Thank you so much. Excelente video. un suscriptor más. sigue asi, Bendiciones.

[@codificandobits]

😉😉 gracias por tu comentario. Un saludo!

[@Ucci73]

Terribleeee lo bien explicado!!!! REALMENTE me encantó, porque eres didáctico y sabes de lo que enseñas! Este algoritmo se puede usar y crear una aplicación de preguntas y respuestas? Por ej: se ingresan los titulares de un matutino y se le va preguntando de qué tratan las noticias... Millón de gracias y por favor sigue enseñando sobre TRANSFORMERS!!! LIKEEEEEEE!!!!!

[@codificandobits]

Hola Guillermo, gracias por el excelente comentario! Sí, BERT se puede usar para la aplicación de preguntas y respuestas que mencionas. De hecho Google lo está usando para las búsquedas que hacemos: no sé si has notado que cuando buscamos algo en la plataforma, al ingresar a las páginas sugeridas por Google aparece resaltada precisamente la porción del texto que responde a nuestra pregunta. Allí está BERT en acción. Un saludo!

[@luis96xd]

¡Excelente video! Que buen tutorial, estuvo muy bien explicado, me fascinaron los resultados de Bert, yo lo probé con un texto de la película de Soul y respondió mi bien 😄 Que genial video ¡Y en español! 😱 Tanto el modelo como el tutorial, muchísimas gracias, siempre he querido hacer un modelo de preguntas y respuestas estoy muy agradecido 😄👏

[@codificandobits]

Hola Luis, qué bueno que te haya resultado útil el tutorial. Un saludo!

[@JoséMaríaGonzálezMuñoz-s8b]

impresionante, tal capacidad

[@josemanuelmanesridaura8874]

Gracias por Compartir. Genial.

[@codificandobits]

😉

[@wilfredomartel7781]

Excelente video Migue. Una sugerencia. ¿Porque no hacer algo de resumen de texto en español ? Sería genial

[@motjjtom5987]

Se hecha de menos sus videos. Espero esté bien. Saludos

[@codificandobits]

Hola. Sí, yo también los eché de menos. Pero Codificando Bits está de vuelta, con todo! Un saludo!

[@elvisleon9695]

Genial bro, mas videos por favor. Transformers en tensorflowjs si es posible.

[@hugoeduardorodriguez]

Excelente, una pregunta puedo tener el texto en un txt externo

[@wilfredomartel7781]

Muy bueno. Podrías hacer un video de como hacer fine tuning de un modelo ya existente.

[@codificandobits]

Qué buena sugerencia Wilfredo. Me lo apunto para un próximo video.

[@wilfredomartel7781]

@@codificandobits ejemplo para clasificar de acuerdo a un contexto. Podría ser leyes

[@industriasocegueradisenand5315]

Hola lo felicito esta de maravilla, estaba buscando algo parecido para redactar textos y este modulo me encanto, como lo puedo adquirir, gracias

[@codificandobits]

Hola. En la descripción del video puedes descargar el código fuente. Un saludo!

[@zxcvbs]

Muy buena explicacion, en caso de tener mucho texto extraido de pdfs, puedo hacer un fine tuning con esa informacion, para genererar preguntas, resumenes? que modelos conviene usar para que la informacion sea coherente?

[@codificandobits]

Hola y qué buena pregunta. Sí, en principio si tienes un corpus (texto extraído de pdfs) lo suficientemente grande, puedes tomar el BERT base y afinarlo para tareas específicas. Te sugiero revisar Hugging Face, en donde hay varias implementaciones de este estilo y para el lenguaje Español. Te pueden servir como guía para entrenar tu propio modelo. Un saludo!

[@felipela2227]

Una pregunta se puede usar BERT para clusterizacion ?

[@harveynicolasechavarriaort9606]

Hola, me parece un excelente tutorial, puesto que me sirvió de base para el trabajo que estoy haciendo, sin embrago, me gustaría saber como puedo exportar el modelo para utilizarlo en un entorno diferente.

[@Ivanglfit]

Buenas, ¿se trata de un trabajo universitario? Te lo pregunto porque estoy estudiando PLN de manera autodidacta y quiero conocer gente que este inmersa en este tema para hacer proyectos y aprender más. He de decir que estudio Lingüística en la universidad, por lo que me ayuda a comprender mejor esta rama. Un saludo.

[@hantondark8876]

@@Ivanglfit Hola compañero, yo estoy en este area de NLP, si pudiera madarme su telegram o linkedein para contactarlo ? intento poner mi correo pero al parecer youtube no deja. saludos, espero su respuesta

[@carmelo6782]

Tengo dos consultas, como podría hacer que de respuestas más amigables y como se podría implementarlo en una pag web?

[@nachouve]

Más sobre las posibilidades de esta tecnología, por favor.

[@codificandobits]

Hola Nacho... sí, las posibilidades son muchas. Voy a buscar un espacio en las temáticas que vengo desarrollando para publicar otro video sobre el tema más adelante. Un saludo!

[@Gustavo-fj9gi]

gracias !!!

[@michaelesquivel9417]

Like y Sub y Compartido!

[@QueAiLatam]

Miguel increíble tutorial, un fuerte abrazo ¿como se podría afinar este modelo para que BERT para que pueda responder de mejor manera a textos mas especializados?

[@codificandobits]

Hola Luis. En este caso debería ser entrenado con un corpus que contenga estos textos más especializados. ¿Lo estás pensando para algún tipo de aplicación en particular? Un saludo!

[@FcoPulice]

Un Saludo. He estado iniciando en el mundo del deep learning y sus videos son mucha ayuda para mi. Actualmente me encuentro practicando sobre analisis de sentimientos y he investigado que para acelerar el proceso se pueden utilizar modelos preentrenados alojados en TensorflowHUB, en dicha web hay tutoriales sobre text embedding models pero me encuentro con un error al querer alimentar redes recurrentes con esos modelos por ejemplo (LsTM). Cree usted poder hacer un tutorial figurando la forma correcta de utilizar estos modelos de text embedding para asi entrenar njestros modelos em base a esos modelos? Sé que quizas es mucho pedir pero he investigado tanto y quiza usted encuentre la respuesta.

[@codificandobits]

Hola y gracias por tu sugerencia. Acabo de tomar nota sobre el text embedding y los modelos preentrenados de TensorflowHUB. La verdad no los he usado, pero espero poder hacer un video en el futuro sobre esto. Un saludo!

[@PatricioBarros]

Cómo se haría para que tenga respuestas más "humanizadas"?, otra tarea como conversacional?, estuve viendo algunos términos en otros usos, creo que era algo como seq2seq, no?

[@manuelmateus7152]

gracias

[@valeriejackson3502]

Amigo, me interesa BERT para redactar metadescriptions automáticas de SEO, crees que sirva?

[@codificandobits]

Hola Valerie, aunque no lo he probado creo que podrías usar "Bert extractive summarizer" para esta tarea: pypi.org/project/bert-extractive-summarizer/ Un saludo!

[@guillotus2279]

Hola, y si las respuestas son mas de una? Ejemplo, si en un evolutivo medico quiero que me diga si pidió realizar estudios y cuales son.

[@josecarlosquinonespuma4339]

gracias por el video.! puedo utilizar el modelo que aplica (mrm8488/distill-bert-base-spanish-wwm-cased-finetuned-spa-squad2-es) para realizar el análisis de sentimiento como en el video anterior? o debo buscar otro modelo en español ? GRACIAS

[@codificandobits]

Hola José. No, el modelo que mencionas está entrenado específicamente para preguntas-respuestas. Pero puedes usar uno como este: huggingface.co/finiteautomata/beto-sentiment-analysis para análisis de sentimientos. Un saludo!

[@damianquijano1706]

Excelente

[@codificandobits]

Gracias por tu comentario Damián. Un saludo!

[@kcireorenom8430]

tutoriales impresionantes y en español, una pregunta maestro es posible implementar un autómata que pueda hacer click en cualquier pagina de internet usando keras y selenium? y es posible usar redes transformers para problemas que no tengan que ver con procesamiento de lenguaje? digamos con procesamiento de sonido? he visto que usas datasets ya hechos es posible hacer nuestros propios datasets con crawlers que recopilen información en tiempo real?

[@codificandobits]

Hola y gracias por tu comentario. Con respecto a tu primera pregunta (autómata + keras + selenium): la verdad no sé, habría que ver cuál es el propósito de este autómata ¿que dé clicks dependiendo del contenido que encuentre en la página? ¿analizando el texto? Y con respecto a tu segunda pregunta: sí, las redes transformer en teoría funcionan para cualquier tipo de secuencia, no sólo lenguaje. Para el caso del sonido he visto que se usan para generación de música. De hecho OpenAI desarrollo algo sobre este tema. Y sobre tu tercera pregunta: sí, es posible hacer crawlers. Yo lo he realizado con Python, en particular para Spotify y para extraer info de páginas web. En ese caso, además de Python, usualmente lo que se requiere es conocer la librería Pandas, que permite organizar los datos. Un saludo!

[@digitalartist8987]

Hola, soy nuevo en esto, ultimamemente use mucho chat gpt para que me ayudara a crear un chatbot bastante inteligente usanndo la propia API de Open AI, el problema mayor es que tras varios dias haciendo mejoras y poniendolo a prueba me di cuenta que habia llegado al limite (con solo dos dias de uso a base pruebas para testear mi chatbot) lo cual me hace reflexionar sobre la posibilidad de usar un modelo preentrenado en español que sea gratuito y sin restricciones, se que hay varios en internet, como T5 de google, Gpt 2, Bert, cual dirias que actualmente es el mejor en español de los gratuitos?

[@boasorte6808]

Depende, debes entender la arquitectura de cada uno para que se acople a tus necesidades. Solo a modo de ejemplo, GPT es de tipo Decoder, mientras que BERT es Encoder, BART es Encoder-Decoder, etc. Esto se traduciría al ejemplo de pregunta-respuesta en que GPT es más generativo, osea inventa y da respuestas más bonitas lo que sirve para cosas como servicio al cliente, pero tiene su contra que es que puede alucinar, mientras que BERT practicamente interpreta la pregunta y extrae de manera pura el texto (tipo copy-paste, no inventa ninguna palabra) lo cual es util en tareas sensibles, como medicina, donde no puede inventarse un solo termino y se debe ser literal con la respuesta.

[@jalbarracin]

Hola Miguel, nuevamente felicitaciones. Me he dado cuenta que cuando uno realiza una pregunta que no tiene respuesta el modelo devuelve un error. ¿Como hacer para devolver una respuesta como "lo siento, no tengo una respuesta"?

[@codificandobits]

Hola Javier, qué bueno saber de ti! Una idea que se me ocurre es incluir un "try/except" en Python. En el bloque "try" colocar el "pipeline" original de BERT, y si arroja un error, colocar el mensaje en el bloque "except". No es la forma más elegante, pero creo que funcionaría. Un gran abrazo!

[@mauriciomatias6261]

Genial

[@huargomoraleslerma5839]

Maestro !

[@codificandobits]

👊 👊 👊

[@mclautaro]

Hola Amigo, cómo hago para implementar BERT para la comprensión de Texto en español para con tesorflow jscript. O implementarlo en web, tal como lo hace Hugging Face. Desde ya, gracias.

[@codificandobits]

Hola Rolando, la verdad no lo he hecho. Te sugiero revisar este "thread", parece que funciona con el procedimiento que allí describen: github.com/huggingface/transformers/issues/2135 Un saludo!

[@clasificadoclasificado2183]

Puede usarse para que responda pruebas

[@codificandobits]

😄 😄 😄 no lo había pensado. ¡Tenemos que buscar un buen set de entrenamiento!

[@clasificadoclasificado2183]

@@codificandobits podría usarse el mismo material que para una prueba de ingreso a la universidad países como Chile por ejemplo hacen ensayos para la PSU y en Estados Unidos también se realizan ese tipo de ensayo con una prueba y un solucionario sería un set de 80 a 60 preguntas y respuestas según que prueba elijas. Con unas tres pruebas de base con preguntas diferentes debería bastar (no estoy seguro de si funciona con matemáticas pero con lenguaje y ciencias debería poder). Aparte abría que darle una base de datos para que pueda obtener la información que no se entrega en la pregunta pero creo que podría funcionar muy bien.

[@alejandro972012]

Holaa. Sólo quería preguntarte: ¿Por qué ya no has subido videos? ¿Estás bien? :( No tienes que volver a estar activo, sólo quiero saber de ti.

[@codificandobits]

Hola Alejandro, gracias por tu interés y por preguntar. Desafortunadamente el tiempo no me permitió continuar publicando videos por un tiempo. Pero la buena noticia es que desde ayer Codificando Bits está de vuelta, con toda! Un saludo!

[@aadiegoaa96]

¿Cómo puedo convertir el modelo presentado en el video en formato tensorflow lite?

[@codificandobits]

Hola Diego. La verdad no he probado esta conversión. Te sugiero revisar estas respuestas en Stackoverflow: stackoverflow.com/questions/60967842/convert-a-bert-model-to-tflite. Un saludo. Me cuentas si te funciona algo de esto

[@aadiegoaa96]

@@codificandobits Mil gracias, tu canal es excelente, nunca pares de hacer lo que haces, saludos desde México.

[@codificandobits]

@@aadiegoaa96 Gracias Diego. Este tipo de comentarios me motivan montones!

[@hantondark8876]

@@aadiegoaa96 estas programando NLP , Diego ? estoy programando generacion de lenguaje natural

[@aadiegoaa96]

@@hantondark8876 si, hago nlp. A la orden

[@chrsytiamg]

NO funciona, no le reconcoe al AutoModelForQuestionAnswering dice queno existe.. me puedes ayudar

[@codificandobits]

Hola Fabián. ¿Estás ejecutando el código localmente o en Google Colab? En todo caso debes instalar primero la librería transformers: pip install transformers. Revisa y me cuentas

[@robert_nissan]

te faltó comoartir el colab

[@cristianalmario3344]

tengo que registrarme a hugging face para poder optener el modelo ..

[@xatario]

Como van las cosas presiento que en el 2029 en verdad habra una AI que sea considerada vida.

[@codificandobits]

No sé, a mi me parece que ha habido desarrollos impresionantes... Pero no se si llegaremos a algo que se considere "humano"....

[@p._7555]

+++++++++

[@canaljoseg0172]

🤣🤣🤣 Y estas usando el futuro terminator de la humanidad, vamos para el 2029? 🤨 Realidad o ficción!!! Hmmmmm!!!

[@tarikabaraka2251]

BERT (Bidirectional Encoder Representations from Transformers) o Representación de Codificador Bidireccional de Transformadores

[@gilbertmurati2043]

Muchas gracias por hacer este vídeo. Esta genial, no encuentro palabras para expresar mi gratitud e impresión. En serio gracias por hacerlo.

[@codificandobits]

Gracias a ti Gilbert, esos son los comentarios que me motivan a seguir subiendo cada vez mejor material al canal. Un saludo!

[@adriangranados3066]

Muchas gracias!

[@codificandobits]

😉