Nvidia presenta Blackwell. Donde nace la IA Gen. El chip más poderoso del mundo.

Рет қаралды 9,202

Күн бұрын

En este video, exploramos el emocionante anuncio de NVIDIA sobre su nueva familia de GPUs Blackwell, una innovación destinada a transformar el campo de la inteligencia artificial generativa. Descubre cómo la arquitectura Blackwell permite ejecutar modelos de lenguaje de trillones de parámetros en tiempo real, con una eficiencia energética y un costo 25 veces inferiores a su predecesor, la serie Hopper.
Con el respaldo de gigantes tecnológicos como Amazon, Google, Meta, Microsoft, Oracle Cloud y OpenAI, estas GPUs prometen revolucionar diversas industrias al ofrecer capacidades sin precedentes para la construcción y ejecución de IA generativa. La GPU Blackwell, nombrada en honor al matemático David Harold Blackwell, es una obra maestra de la ingeniería con 208 mil millones de transistores y presenta avances significativos como un motor de transformador de segunda generación, capacidades de inferencia de IA mejoradas y un enfoque en la fiabilidad y mantenibilidad basada en IA.
Únete a nosotros para un análisis detallado de la arquitectura Blackwell de NVIDIA, el proceso de fabricación TSMC 4NP de dos retículas límite personalizado, y cómo estas GPUs están preparadas para ser el motor de la próxima revolución industrial, según palabras del fundador y CEO de Nvidia, Jensen Huang. Además, echaremos un vistazo a las primeras GPUs de esta serie, la B100 y B200, y sus impresionantes especificaciones técnicas. Prepárate para sumergirte en el futuro de la IA generativa con NVIDIA Blackwell.

Пікірлер: 40

@josuebille4855 4 ай бұрын

Nadie: Sam Altman: Queridos reyes magos...

@JuanDo.Dubini 6 ай бұрын

"Trabajé en Telefónica en el área de mantenimiento de los equipos de telecomunicaciones. El ruido en ese entorno era realmente abrumador."

@llmmaster_ 6 ай бұрын

tiene que ser tremendo cuando enciencen toda esta infraestructura.

@JuanDo.Dubini 6 ай бұрын

@@llmmaster_ son panales de abejas se usan cascos..igual que los mineros

@rootor1 6 ай бұрын

Lo siento pero de lo que habla nividia no tiene nada que ver, son granjas de GPUs, ademas son bastante silenciosas, la refrigeración es liquida, no hay ventiladores, apenas hay ruido.

@drancerd 6 ай бұрын

Rottor tiene razón

@azhuransmx126 6 ай бұрын

Nvidia está a otro nivel, usan refrigeración líquida no primitivos ventiladores o turbinas ruidosas como los ya arcaicos super ordenadores que tienen en la NASA.

@jjen9595 6 ай бұрын

Hola, como le podriamos sacar provecho a esta informacion que conocemos?

@rootor1 6 ай бұрын

Crea un sistema de agentes de IA que haga tu trabajo y te puedes retirar a la dolce vita.

@andreseduardogarzonpolania 6 ай бұрын

Se podría entrenar una AI estilo Suno pero con un género musical específico?

@rootor1 6 ай бұрын

@@andreseduardogarzonpolania La respuesta corta es "si". pero no vale la pena entrenar de cero, basta con finetunear modelos existentes añadiéndoles las canciones especificas que mas te gusten. No conozco el modelo especifico que usa suno pero si que conozco modelos de música como musicgen que proporcionan instrucciones para hacer finetunning.

@rootor1 6 ай бұрын

@@andreseduardogarzonpolania El algoritmo me esta borrando los comentarios, no puedo responderte mas que "si"

@llmmaster_ 6 ай бұрын

youtube nos tiene controlados

@yubermuozcepeda5343 6 ай бұрын

un usuario del comun para que tener semejante bestia

@rootor1 6 ай бұрын

Me da la sensación que los de groq con su chip que esta en estado prototipo, proviniendo de una pequeña empresa que tiene cero cuota de mercado y con una mejora en la velocidad de inferencia de 5X se van a comer los mocos. Sencillamente no pueden competir contra nvidia que actualmente ya tiene su ultimo chip en producción, que es un gigante que ya tiene el 90% del mercado de granjas de GPU y que ofrece mejora de 30X en inferencia. Máxime cuando la nueva arquitectura es 100% compatible con la infraestructura de la arquitectura anterior y en todas esas granjas de GPU donde ya tienen los chips anteriores de nvidia solo tienen que sacar las cajas de GPU antiguas y meter las nuevas para que funcione.

@azhuransmx126 6 ай бұрын

Hay tecnología de chips superiores a las GPUs de NVIDIA, como los NPUs, los AMP y los chips fotonicos que ya son una realidad y no consumen nada pero sus start ups no tienen el dinero, ni el respaldo, tocará quemar la tecnología de las GPUs hasta que ya no den más y la industria se harte de que NVIDIA quiera vender un chip a 45000US$ lo cual es ya una locura, pero cuando eres un monopolio puedes hacer eso.

@rootor1 6 ай бұрын

@@azhuransmx126 Siento decírtelo pero no sabes muy bien de lo que hablas. Los NPU que existen físicamente a día de hoy son chips para móviles y tienen potencias de procesamiento que están unos 10 ordenes de magnitud por debajo de los 20.000 teraflops que tienen los últimos chips que ha sacado nvidia (para tu información en cada orden de magnitud la potencia se multiplica exponencialmente respecto al orden anterior). AMP es una arquitectura antigua de multiprocesadores asimétrica, nada que ver con IA ni remotamente. En IA donde el procesamiento en paralelo es siempre perfectamente simétrico la arquitectura AMP no tiene ningún sentido. Para finalizar el precio que han sugerido los de groq de sus tarjetas de aceleración LPU (que aun son solamente una demo y no están a la venta) en teoría rondaría los CIEN MIL machacantes así que los 45.000 que dices que pide nvidia (me gustaría saber de donde has sacado esa cifra porque me huelo que es igual de acertada que el resto de tu comentario) aun es barato en comparación, sobretodo teniendo en cuenta que la arquitectura blackwell (que ya esta en producción y aceptan pedidos) de nvidia es alrededor de 6 veces mas potente para inferencia que los LPU de groq y los LPU solo sirven para inferencia. Es totalmente cierto que cuando una empresa se convierte en monopolio puede hacer prácticamente lo que quiera pero nvidia aparte de acaparar gran parte del mercado es que machacan cualquier posible competencia multiplicando por 30 la potencia de sus chips en 2 años. No venden caro un producto inferior, como si que hace alguna otra empresa que si es un monopolio y no voy a decir su nombre pero empieza por micro y acaba por $oft.

@rootor1 6 ай бұрын

@@azhuransmx126 Siento decírtelo pero no sabes muy bien de lo que hablas. Los NPU son chips para móviles. Nada que ver con supercomputacion. AMP es una arquitectura antigua de multiprocesadores asimétrica, nada que ver con IA ni remotamente. Para finalizar el precio que han sugerido los groq de sus LPU rondaría los CIEN MIL machacantes así que lo que dices que pide nvidia aun es barato en comparación, sobretodo teniendo en cuenta que la arquitectura blackwell es alrededor de 6 veces mas potente para inferencia que los LPU. Es totalmente cierto que cuando una empresa se convierte en monopolio puede hacer prácticamente lo que quiera pero nvidia aparte de acaparar gran parte del mercado es que machacan cualquier posible competencia multiplicando por 30 la potencia de sus chips en 2 años. No venden caro un producto inferior, como si que hace alguna otra empresa de software que si es un monopolio y no voy a decir su nombre porque el algoritmo me borra los mensajes si lo hago.

@rootor1 6 ай бұрын

@@azhuransmx126 Siento decírtelo pero no sabes muy bien de lo que hablas. Los NPU son chips para móviles, nada que ver con supercomputacion. AMP es una arquitectura antigua de multiprocesadores asimétrica, nada que ver con IA ni remotamente. Para finalizar el precio que han sugerido groq de sus chips LPU es mas del doble que lo que dices que pide nvidia. Es totalmente cierto que cuando una empresa se convierte en monopolio puede hacer prácticamente lo que quiera pero nvidia aparte de acaparar gran parte del mercado es que machacan cualquier posible competencia multiplicando por 30 la potencia de sus chips en 2 años. No venden caro un producto inferior.

@rootor1 6 ай бұрын

@@azhuransmx126 Imagino que eres un bot porque tu respuesta no tiene pies ni cabeza. Los NPU son chips para móviles, nada que ver con supercomputacion. AMP ni siquiera es un chip, es una arquitectura asimétrica de multprocesador, nada que ver con IA.

@jorgeb77 6 ай бұрын

Lástima que esta tecnología solo la aprovecharan las grandes empresas y no el público en general. El verdadero salto de la IA será cuando se pueda ejecutar localmente en tu PC sin tener que depender de servidores externos en la nube.

@berlcerker2013 6 ай бұрын

Como si todos pudiéramos comprarnos esos ordenadores 😂

@josuebille4855 4 ай бұрын

@@berlcerker2013 Nada te impide hacerte millonario, sólo tu mente se auto impone límites.

@llmmaster_ 6 ай бұрын

Nvidia ha lanzado Blackwell, menuda bestia. Os leo

@rootor1 6 ай бұрын

Según dicen 30 veces mas potente para inferencia que la arquitectura anterior de las H100 gracias a una optimización de tensor core. He visto el keynote y lo que no me ha quedado claro es cuanto es la mejora para entrenamiento. En principio dicen que la mejora de cada chip individual es 2,5% respecto a la arquitectura anterior para entrenamiento. Pero también han hecho mejoras en otros componentes que forman parte de la infraestructura que soporta los supercomputadores de la arquitectura. Cosas como aumentar el ancho de banda entre GPUS, mejorar el enrutamiento, mejorar la compresión y descompresión en la comunicación en tiempo real, etc... Juntando todo eso no queda claro cuanto mejora el entrenamiento pero si no lo han dicho es que no llega a ese 30X de mejora en inferencia. También es interesante la reducción en el consumo de energía. Sobretodo lo que mas le gustará a los grandes inversores es que se puede mantener los racks y simplemente cambiar las cajas que contienen las GPU de la arquitectura anterior por esta nueva.

@llmmaster_ 6 ай бұрын

Han pensado en todo ;) Saben que se les abre una nueva era

@eltrespiernas7691 6 ай бұрын

La AGI está muy cerca 😢

@llmmaster_ 6 ай бұрын

Nvidia tiene el control del avance hacia AGI

@centrointernetbds 6 ай бұрын

25 veces mas o un 25% mas? 25 veces mas eficiente suena a demasiado

@tomasmerlo5779 6 ай бұрын

30 veces mas ! 30 veces

@rootor1 6 ай бұрын

Efectivamente la nueva arquitectura es 30 veces mas potente para inferencia que la generación anterior (que la anterior los humanos normales y silvestres no hemos soñado siquiera con usarla aun). Es sorprendente pero dudo que sea una exageración, nvidia es una empresa seria. Normalmente no se hacen avances tan bestias pero esta gente están rompiendo las reglas de como ha avanzado en hardware en el pasado. Ahora ya no se sigue la ley de Moore, ya no se dobla la potencia de proceso cada 2 años, ahora se multiplica por 10 o por 20 o por 30. A ellos les gusta llamarlo la "ley de Huang".

@Lu-dm9ee 6 ай бұрын

@@tomasmerlo5779 Rendimiento del chip NVIDIA Blackwell respecto a NVIDIA Hopper: 20 PFLOPS FP8 (2.5x veces más rápido Vs. Hopper) 20 PFLOPS FP6 (2.5x veces más rápido Vs. Hopper) 40 PFLOPS FP4 (5.0x veces más rápido Vs. Hopper) 740B Parameters (6.0x veces más rápido Vs. Hopper) 34T Parameters/sec (5.0x veces más rápido Vs. Hopper) 7.2 TB/s NVLINK (4.0x veces más rápido Vs. Hopper) Se estima una mejora de 30 veces mejor en inferencia gracias a la mejora de todo . Lo que entiendo yo, es que sera 30 veces mas precisos sus resultados, aparte de las mejoras de calculo que he dicho al principio) Para entrenar no creo que sea 30 veces mas rapido. De hecho en la presentacion dicen que 8000 hopper 90 dias a blackwell necesitarias 2000 GPU. Eso es 4 veces mas rapido?

@rootor1 6 ай бұрын

@@Lu-dm9ee Teniendo en cuenta simplemente la mejora en teraflops diría que para entrenamiento la mejora es 5X. Lo que aumenta 30X no es la precision de los resultados sino la velocidad de los resultados, es decir, con estos chips le preguntas a un LLM y te contesta a la velocidad del rallo. No como ahora con chatGPT que te duermes.