Apache Spark from scratch: RDDs, Aplicaciones, Broadcast y acumuladores

Continuamos con la serie de vídeos sobre Apache Spark y hoy nos centraremos en los RDDs, lanzar aplicaciones y las variables broadcast y los acumuladores.

[@rene2582]

te agradezco por tus videos y los comparto lo más que puedo pero por favor estudia algo de inglés, primero porque todos lo que tu usas está en inglés y segundo porque es triste oirte pronunciar "como se escribe".

[@carloscorredor7542]

Este señor es una bendición

[@javiersuarez8604]

Muchas gracias Alberto por compartir tus conocimientos con nosotros. Suena bien el video de la API de ML :-)

[@miguelurgiles8393]

Excelente tutorial, muy agradecido

[@franciscoadanarias9967]

Muchas gracias, de gran ayuda. Éxito!

[@VicenteSánchezRincón]

Genial vídeo amigo

[@franciscochacon4319]

Creo, sin haberlo compilado ni nada, que lo de hacer el flatMap en el minuto 12:49 es innecesario. Yo creo que te da el mismo resultado si empleas un map. El product_id no es un array ni nada por el estilo, entonces no veo necesario hacer el flatmap. Te va a salir el mismo número de registros lo hagas con map o flatmap, o eso creo. Contestame si puedes, estoy muy intrigado con esto mismo. Entiendo la diferencia entre ambos, pero en este caso concreto creo que no hace falta usar flatmap.

[@pablomosquera321]

Buen video Albert, mucho ánimo y gracias por la info!

[@pedroangel5974]

"Otro" tutorial estupendo para seguir trasteando y aprendiendo con Spark. La duración de los tutoriales es un puntazo porque no acabas saturado y que la lección sea autocontenida facilita mucho las cosas. Muy fan de estos tutoriales.

[@melinaballario2649]

muy buenas tus explicaciones, pero creo que deberias hacer el tutorial en jupyter notebook que es la herramienta mas usada para ciencia de datos. Es incomodo verlo en la consola

[@mdchaparror10]

Muchas gracias, excelente video

[@andresperezdominguezx5108]

Me ha encantado Albert, sigue así

[@asesoresoropeza]

genial tus videos

[@cjbarroso]

Gracias

[@lmarquez2023]

¿Qué ventajas nos da RDD para procesamiento vs DataFrames?

[@NullSafeArchitect]

Los RDD se procesan en paralelo en distintas máquinas del cluster, es mucho mas escalable.

[@istorboi]

@@NullSafeArchitect No estoy conforme contigo, los data frame también se procesan en paralelo y de manera distribuida. los RDD salieron con la version Spark 1.0 y posteriormente sacaron los data frames (v1.3) y dasta set (v.16). El uso de los RDD va quedando desfasado. Los Data sets proporcionan lo mejor de RDD y Dataframe: RDD (programación funcional, tipo seguro), DataFrame (modelo relacional, optimización de consultas, ejecución de tungsteno, clasificación y barajado)

[@omaroto]

@NullSafeArchitect @@istorboi Buenas, así es. Venia buscando una aclaración en los comentarios ya que en este video se dice que solo los RDD se procesan de forma distribuida entre las máquinas del cluster. En la documentación se entiende que la estructura Dataset también se procesa de esta forma, además del resto de estructuras que manipula Spark, junto con las versiones en que se implementó como dice el comentario anterior. Me alegro de haber encontrado la confirmación aqui. Mi comentario es para consolidarla, no para recalcar un error que cualquiera puede cometer al grabar bien por desconocimiento, confusión o distracción. Para completar, además los Dataset también pueden ser almacenados (no solo procesados) de forma distribuida en las memorias del cluster. Gracias por el contenido, esperamos más con mucha ilusión ; ).

[@DiegoAGM1086]

Me imagino creando un makefile con estos comandos así solo hacemos: make comando y listo, bueno cuando sea aplicable jeje

[@gonzalosurribassayago4116]

Excelente

[@cascossi809]

Jupyter

[@edvargas2009]

Buen día, genial el tema, genial la forma como lo explicas; encontré un error siguiendo el tutorial el lines.collect()...alguna idea? 22/12/15 14:59:12 ERROR Executor: Exception in task 8.0 in stage 12.0 (TID 207) org.apache.spark.api.python.PythonException: Traceback (most recent call last):