Como montar un cluster de Apache Spark

Continuamos con la serie de vídeos dedicados a Apache Spark para Big Data, hoy montaremos un cluster con Spark y lanzaremos una pequeña aplicación en Python y PySpark para ver como funciona.

[@NullSafeArchitect]

Tenéis disponible el código en la siguiente URL www.albertcoronado.com/2021/05/19/formacion-apache-spark-como-montar-un-cluster-de-apache-spark/

[@karolcastillo4232]

Excelente desde Colombia te felicito, linda forma de explicar también lo lindo de la paralelización qué tanto tiempo se ha hablado. ;)

[@erickperez8404]

Albert déjame decirte que gracias a tus videos he podido finalizar una actividad en la Universidad. Saludos desde El Salvador 🇸🇻

[@hidromagnetismo]

Demasiado PRO el contenido de tus videos, gracias hermano!!!

[@jesusolivares6418]

Gracias Albert por este contenido claro y preciso. En pocos lugares de la web he encontrado la descripción de como instalar y utilizar las herramientas de Big Data en castellano. Te estoy recomendando con mis estudiantes de licenciatura y posgrado

[@alejandrobermudez8799]

Felicidades, muy buen trabajo

[@rjarpa]

Genial Video!

[@kyke...roadto...]

Excelente video, me motivó a aprender algo nuevo.

[@alexonxxx]

Eres un grande!! Mira que hice el master en Big Data, pero es impresionante las cosas que enseñas imprescindibles que no me habían formado en el master. Esto me da a ver que aún me queda mucho por aprender!

[@gonzalosurribassayago4116]

Excelente muy claro todo

[@gerardoloeches1955]

Es un vídeo excelente, me encantaría que siguieses con la idea de la escalabilidad en kubernetes

[@reyandrescabralrodriguez2027]

Excelente video

[@fenixdota1116]

muy bueno gracias

[@miscoadre3250]

Continua por Aqui, yo estaba usando el pip install pyspark y pensaba qué lo estaba haciendo bien pero despues de ver Este video, estaba usando pyspark sin clusters por lo tanto no estaba haciendo nada

[@grjesus9979]

Usad microservicios, mucho mas sencillo de desplegar y por supuesto de portar entre máquinas.

[@whisterw]

Otra duda. Es posible partir de un FROM ubuntu ? en el dockerfile principal?

[@whisterw]

Hola una duda. Es posible enviar el submit con deploy-mode en cluster?

[@bet1america]

Hola Albert, no me quedó muy claro donde mencionas que el DataFrame solo se ejecuta en un único nodo, ¿Eso significa que no puedo paralelizar usando DataFrames? como que no me hace mucho sentido, además entiendo que en la actualidad recomiendan ya no usar RDDs sino DataFrames/DataSets. Me ayudarían a despejar esta duda.

[@robertalvaradolugo3010]

Hola Albert, muchas gracias por el video. Sabes como podría consumir la api de spark desde una aplicación externa al servidor apache spark?

[@randomarrow7278]

Hola muy bueno. Consulta si quisiera que spark escalará sus slaves según la demanda podría hacerlo con kubernetes? Excelente siempre gracias por estos tutoriales!!

[@NullSafeArchitect]

Si

[@randomarrow7278]

@@NullSafeArchitect debería auto escalar el pod de los slaves? Si puedes podrías dar algún ejemplo

[@NullSafeArchitect]

Si, lo suyo sería hacer autoscaling con alguna métrica tuya de petición

[@trejogutierrez]

Cuál es la diferencia de slave y worker?, un worker puede tener varios slaves?

[@ricardocauduro1053]

Gostei demais do video. Segui todos os passos do video mas não consigo abrir o masterWebUI... no log diz que o master esta ALIVE, mas não consigo acessar. Enfim... Parabens pelo video!!!

[@Tormentt0]

donde consigo el data.csv

[@nazaretgarcia8655]

Porque siempre usas Ubuntu?

[@NullSafeArchitect]

Es el SSOO que uso en mi día a día