Instalación de un cluster de Apache Kafka paso a paso

A partir de ahora todo el código de este vídeo y el resto en mi página web(Con mi nombre punto com). Si lo buscáis en el buscador lo encontrareis enseguida. También encontrareis el enlace a las RRSS y la comunidad Patreon.
Disculpad las molestias pero es que KZbin me penaliza por estos enlaces directos :(

[@jm4r1n]

No te imaginas lo valioso de tus contenidos. Muy agradecido

[@arturodeutsch]

wow por fin alguien hizo un video sencillo y al hueso, se agradece

[@HectorNielPerezValladares]

Excelente, lo acabo de probar (15 de abril del 2024 desde Perú) con la versión kafka_2.13-3.7.0 y funcionó todo correctamente. ¡Muchas gracias!

[@KrossAvDemoner]

Al crear este mismo ejercicio en 2021 me encontré con una serie de problemas en los contenedores docker, pero el que más me dio lata fue la versión de los brokers, por si aalguien le sirve en cada broker deben configurar o siguiente inter.broker.protocol.version=1.0 saludos y muchas gracias por el tutorial.

[@MiguelAngel-mc1ih]

Gracias!!

[@DANITO285]

eres un genio hace mucho q alguien no me marea con algo de esto

[@omarrico8649]

Gran explicación y muy buen video Albert.

[@rockachok]

Gracias, eres todo un crack, muy buenos videos!

[@ilabdata355]

Gracias Tio, excelente!!

[@ignaciobriones3769]

Muchas gracias!! Saludos desde Chile...

[@iangarcia9923]

Muchas gracias Albert!

[@ivangutierrez9225]

Buenísimo, no puede estar mejor explicado.

[@andresantoniolopez4360]

Genial tu contenido!!! gracias por tu gran aporte

[@josemendez-mu3wo]

MUchas gracias muy buen aporte

[@jaimeblanco8358]

Muy bueno, gracias por toda la informacion

[@juancarlosespinozavalera1073]

Excelente, que buen aporte con docker. Lo probare. Gracias y justamente era lo que queria realizar para tambien probarlo usando Java y ver como se comportaba ello

[@alfredopacheco9471]

Eres seco!! Cuán fácil lo haces ver.

[@alesofton]

gracias desde chile

[@jorgetreminio]

Excelente información, sólo una idea :. Tratar de hacer pequeños diagramas ya sea dibujado o en una presentación,para dar a entender el objetivo.... Muchas gracias

[@leniedor733]

Me he dado cuenta que si le metes un nombre a tu contenedor del zookeeper puedes usarlo en vez de hardcodear la ip del mismo. Con esto tambien los nombres de las instancias. Con varias pruebas me funciono, porque cada vez que reiniciaba se eliminaba y tenia que picarlo de nuevo xD Buen video!

[@programmingtopics]

Excelente bro, gracias!

[@compartelo007]

Lo primero muchas gracias por el vídeo. No se si alguien más abajo se dio cuenta que creaste el topic "test-server" pero el productor y el consumidor lo hacían del topic "test-cluster"

[@diegoluj]

magistral

[@ahoratambien]

Gracias!!

[@arielgonzalez9045]

Gracias Maestro! me has iluminado con esta Tecnologia tan comoda! Consulta.. Tendras alguna explicacion a la hora de la creacion de servidores en maquinas locales? Saludos desde Arg!

[@andresfelipeperaltadavila408]

bro lo espero con ansias. (Y) deberias hacer un video para consumir los datos de un kafka con spark y map reduce de igual forma gracias eres el mejor en estos temas

[@NullSafeArchitect]

Me lo apunto!

[@borispalacios4795]

gracias or el aporte

[@fredytorresaraoz5132]

Buen video

[@miscoadre3250]

Buenas, buen video, aunque hubiera estado bien ver como descargabas docker y lo configurabas porque me da errores y nose los pasos que das para configurar docker y kafka

[@rafafallo1]

Hola ALbert, tus videos son una maravilla, y me han ayudado increiblemente en mi actual trabajo te agradezco infinitamente y te felicito, tengo una duda ya que soy realmente nuevo en kafka, uso kafka client para conectarme a un topic de un cliente externo y recibir 310,000 mensajes por segundo para bigdata (apenas lo implementaremos y no se que vaya a pasar), estos mensajes debemos seccionarlos en diferentes ficheros (ya sea seccionados por 5 minutos o por tamaño de fichero) y posterior se implementara xtremeData para el proceso de transformacion del ETL. he buscado como es la mejor manera de seccionar ficheros en kafka y no es sencillo, tu que me recomendarias para realizar alguna de los seccionados? (aparte de resar que he hecho los ultimos días) y para la cantidad de mensajes que el client de kafka recibe sera bueno tambien realizar un cluster? sigo agradeciendo desde ya mi estimado albert por el apoyo que inconsientemente haz dado a mi carrera profesional.

[@lesterjuandediosvillarzamo7435]

Excelente Albert, siempre muy agradecido por tus videos, estaba esperando la prueba de fuego al tumbar un nodo y verificar que todo sigue funcionando bien y sería bueno tambien saber que pasa si es que el nodo caído nuevamente se recupera (concepto de nodo líder). Gracias un saludos desde Perú !!

[@NullSafeArchitect]

Para el próximo :)

[@adrian88cash]

Gracias por tremendo tutorial! Te hago una consulta, ¿es relativamente sencillo migrar luego este cluster al servicio Amazon MSK?

[@fdorantesm]

Excelente video, muchas gracias. Tengo la siguiente duda: desde el host se accede a los contenedores usando el puerto, mismo que no se bindea al ejecutar las intancias. ¿Cómo es que se pueden usar los hosts de kafka fuera de docker?

[@daygorolinux]

excelente, gracias master, consulta, cuanto es el tiempod e vida de un mensaje en el tópico

[@joseeliasgomezaguado262]

Gracias por estos videos, ayudan mucho... Estoy intentando comunicarme, desde el exterior, con kafka. Y teniendo todo funcionando en una LAN, cuando salga a WAN, no hay forma de hacerlo funcionar. Busco ayuda para montarlo, ¿puedes?

[@oswaldodejesusmunizramos6943]

Hola Albert, muy buena serie de videos de apache kafka (Y) tengo una pregunta, apache kafka encola los mensajes automaticamente? es decir, si le llegan un millon de mensajes por el mismo topic, va procesando de uno por uno y los va liberando no? o sea, funciona como un tipo FIFO

[@NullSafeArchitect]

Si, correcto

[@agonzalezo]

Hola muy buen video, en este ejemplo mostraste como tener un claster de 2 kafka pero cada kafka tiene una ip independiente, si todas mis aplicaciones apuntan a la ip x.x.x.1 y ese nodo justamente falla todas mis aplicaciones fallarían. supongo que debería complementarse con un keepalived de linux para manejar una ip flotante entre varias máquinas?

[@NullSafeArchitect]

Al cliente de kafka puedes pasarle varias IPs para si falla una coger otra

[@KAMILOALCA]

En 2024 ya se recojocen por nombre los contenedores por nombre y no es necesario colocar en el listener la ip y se puede usar docker compose para eso🎉🎉🎉🎉🎉

[@donjesus]

En este vídeo y en el de elastic siempre hablas de 3 servidores o nodos en cluster. ¿Es el mínimo número para tener alta disponibilidad? No se puede tener con 2? Gracias por compartir tus conocimientos.

[@NullSafeArchitect]

Si, puedes tener dos tranquilamente.

[@jorgemedina9861]

Excelente video, gracias. Solo me queda una duda, al caer el servidor con zookepper caen todos los nodos y si es así como manejar eso.

[@NullSafeArchitect]

Zookeeper también se puede montar en cluster(por si cae uno)

[@jorgemedina9861]

@@NullSafeArchitect Gracias "Digital" tus videos son precisos y van al punto sin rodeos, felicitaciones Albert !!!

[@kiquenet]

También se puede instalar Kafka en Windows 10 o WServer 2016,, y utilizarlo con NET ?

[@robertomanchado1509]

Espléndido

[@Hackenbaker]

He visto mil videos técnicos en donde se comparte el repositorio de código son que haya penalidad alguna. Si no vas compartir el código por que a fuerza hay que ir a tu web entonces solo dilo y no diga que YT te penaliza.

[@omaciasd.1945]

Saludo Ingeniero, solcito recomendaciones de como desplegar sobre OCI una instancia con imagen Oracle Linux con servicio Apache Kafka? Recién ingrese a una compañía donde requieren de ello. Me confirmaron que en su momento les funciono sobre local en entorno Windows. Se instalo sobre el entorno requerido pero no se visualiza operatividad alguna. Me gustaría saber si alguien ha experimentado algún símil o igual de este escenario y me pueda orientar. He estado mirando varios tutoriales sin llegar a tal fin o cumplir objetivos. Mil gracias por la atención prestada. #ApacheKafka #oraclecloudinfrastructure

[@Fernando1989mg]

Amazon MSK plsssss

[@JlarMM]

Pero si ya tengo un cluster de kubernetes creado? O esto es un cluster paralelo? Ando confundido

[@NullSafeArchitect]

No, el tuyo es un error muy común. Kubernetes gestiona el cluster de servidores y el escalado. Pero la aplicación que sea(Lafka, mysql, ...) debe estar configurada en cluster, porque sinó el escalar se comportarán como aplicaciones independientes sin compartir datos ni repartirse la carga de trabajo.

[@LtdJorge]

@@NullSafeArchitect Claro, el cluster de Julián es un cluster de máquinas. Sin correr ningun servicio. Luego habría que lanzar Kafka en cada máquina y configurarla para que todos los nodos funcionen como uno, que para eso haces el cluster con K8s, para que te lance los servicios automáticamente.

[@JlarMM]

Sería genial un vídeo luego haciendo un ejemplo de esto.. Kafka en una aplicación de kubernetes.... Tengo una aplicación pero es un semi monolito, con servicios de: API(node), io(sockets), app(frontend) y la base de datos(Mongo). Esto de Kafka suena como para aplicaciones Java pero creo q también me convendría quisiera dividir mi API en un par de servicios

[@LtdJorge]

@@JlarMM Kafka sirve para muchas arquitecturas. Lo más importante es que es un intermediario donde necesitas comunicación asíncrona. Si ahora mismo tu API lanza eventos y el servidor que los recibe se puede saturar, puedes poner Kafka en medio. Kafka recibe esos mensajes, y el servidor los va consumiendo cuando puede. Edit: lo más atractivo de Kafka es que escala mucho. Si no necesitas una escala tan grande, hay opciones mejores.

[@LtdJorge]

Por cierto, concuerdo en que un vídeo de Kafka en K8s estaría guay

[@0scarDev]

Classpath is empty. Please build the project first e.g. by running './gradlew jar -PscalaVersion=2.13.10'

[@marcosvera9207]

#apt-get install curl kafka-2.6.0-src# gradle wrapper #./gradlew jar -PscalaVersion=2.13.2

[@jeancarlopalominogonzales4978]

​@@marcosvera9207 im on Mac, doesn't work

[@emanueldtn92]

me paso este error, pero fue por que estaba descargando desde sourcer y no el binario