黄仁勋还有多少「核弹」没释放？深度解读英伟达B200 GPU

Рет қаралды 163,795

Күн бұрын

这期视频，我们来深入了解下英伟达前不久发布的最新算力「核弹」，B200。我们要解决的关键问题是，英伟达是如何唰的一下子，给到了这么强大的AI加速器。首先，我们来看下英伟达历代的架构。在这些架构中，英伟达率先从Kepler开始，打响了数据中心GPU的第一枪。早在2012年就推出了基于Kepler架构的Tesla K系列GPU。随后，在Pascal架构中推出了Tesla P100，在Volta架构中推出了Tesla V100。从Ampere架构开始，英伟达取消了Tesla前缀，推出了A100；在Hopper架构中推出了H100。这些是英伟达针对数据中心，也就是AI加速和高性能计算领域推出的GPGPU。而如今我们迎来了最新一代的架构，Blackwell，是以美国一位数学家命名的。
Nvidia Blackwell GPU In Depth, Artificial Intelligence Meets The Most Powerful Accelerator On Earth.

Пікірлер: 239

@DiedLiu 6 ай бұрын

最後的一段話是重點，訓練部分目前看來Nvdia GPU是可預見未來內看不到對手，但是推理部分，不同架構競爭對手是有機會搶市場的。

@dragonfuintw88 6 ай бұрын

老黃說了~~新的GB200的能力~~ 訓練即是推理~~上季財報推理能力的市占40%以上~~加上輝達自家開發已久~~越來越多功能的軟體服務的護城河~~別家要做出比的過輝達GB200的推理能力~~是有可能? 但是要花多久時間~~花多少錢完成? 使用上順不順? 穩不穩定? 有多少客戶能冒險接受輝達以外的產品?

@yun-chenyen2834 6 ай бұрын

CUDA第一個版本是2007年，目前大多數AI訓練推理都是用CUDA在nVidia的產品上跑，想必使用者編寫程式也會繞著CUDA下去優化。後面若有競品出現，他的客戶必須放棄以CUDA為核心開發程式的成本，那競品非得要有更好的效用才值得客戶變更使用。

@jammiec.4612 6 ай бұрын

8:15 总之就是一个字--大力出奇迹🤣

@yu-mingchang2256 6 ай бұрын

大劉真的牛，謝謝你的解說

@syletie 6 ай бұрын

估计华为又傻眼了

@weiyi0609 6 ай бұрын

B100 根據黃的說法是訓練推理都能用而且nvda也有能力為顧客客製晶片（ASIC) NVDA成本那麼低利潤那麼高到时就算有竞争，只要降一降價競爭者也難存活当然各大云计算业者也会想养第二个供应商（AMD 或自家ASIC) 不能让NVDA随意开价

@鄭先勇 6 ай бұрын

重點是生態系....他的CUDA已經形成其他的對手現在根本還在想著怎麼繞開更不用說客製化ASIC.......也是用自家生態系客製化給特殊廠商

@chientehsu4423 6 ай бұрын

成本（不包含研發），真的利潤很高欸

@suihongki3280 6 ай бұрын

@@鄭先勇推理晶片需要用到CUDA?

@Sun-lf5hn 6 ай бұрын

還得看台積電有沒產能

@kop5276 6 ай бұрын

台積電一堆智障主管在搞內鬥無言

@vvikimo 6 ай бұрын

厲害，超流暢啊。

@HJKO2 6 ай бұрын

Transformer 本身在處理 long sequence 內容太沒效率，且會佔用大量的記憶體空間，新出的deep state space model (MAMBA)模型看有沒有機會改善這種只有有錢人才能玩得起的訓練方式。

@Mems12342 6 ай бұрын

這種兩個die整合成一個晶片是基於台積電的封裝技術!以前的AMD 的64核CPU,是由8個８核die與1個IO die整合而成, 台積電的CoWoS技術能整合Chiplet技術發展很久了，以後８個互連對台積電來說也可以克服．．．

@阿才-f1x 6 ай бұрын

謝謝你不然我都不知道

@KelvinKMS 6 ай бұрын

雖然說是整合，但是之前每一個 die 是有間距的，這個 B200 是直接拼接在一起，性能上更強 !! 延遲極低 !!

@Mems12342 6 ай бұрын

@@KelvinKMS沒有直接拼接，也是CoWoS製程設計，都是2.5D封裝

@王八乌龟 6 ай бұрын

我是英伟达的投资人之一，如果英伟达赚钱了，我的身价也会跟着水涨船高。

@英文431 6 ай бұрын

阿婆主,以你的专业解读,5090游戏卡是否也到了一种瓶颈,未来不采用拼接方式的话,50系60系最高阶是否能完成比上代提升50%以上的提升?单从游戏性能或者结合ai算力性能?求解答,谢谢

@hzm779 6 ай бұрын

看到有的视频评价老黄其实是个营销高手，他很喜欢追逐前沿技术，并且不予余力地推销自己的产品，有点像巅峰期的孙正义，或者巅峰期的苹果

@octoberdht 6 ай бұрын

井底之蛙..不懂可以闭嘴...

@MuhammadPoohBear 6 ай бұрын

营销看华为，这个世界上能把三年前的落后技术卖到10000块的企业，那一定是营销大师，这个世界上除了任天堂，就是华为了，前者懂什么叫游戏，后者懂什么叫民族主义，

@nathanliu4274 6 ай бұрын

看看老黄前段时间的采访：create new market then the inventions

@龙龙海-o7i 6 ай бұрын

巅峰期却是老黄的起步期！

@mr.penguin4906 6 ай бұрын

老黄是技术流的，孙正义是投资者，乔布斯是产品经理。

@HONG-ow2kh 6 ай бұрын

推理沒有定案，因為不像nvda一樣有獨有市場

@son0011 6 ай бұрын

感覺和蘋果的很像！都是一個思維方式

@cywei3529 6 ай бұрын

非常有幫助的視頻感謝分享

@gomask 3 ай бұрын

所以黃仁勳的強大不完全在於他的GPU晶片比起其他各種新創AI晶片例如Cerebras WSE-3是否領先，而在於他掌握結合了台灣相關供應鏈廠商來形成強大的台灣隊，沒有這群台灣廠商共同的合作，其他的AI晶片再強也無法組合成規模龐大的AI算力工廠。

@johnroberts5225 5 ай бұрын

真心希望大刘聊聊看好的ai 公司，万分感谢

@kerwinliao8641 6 ай бұрын

長遠來看，輝達的瓶頸也是人類的瓶頸；目前看來，短期內也沒別家廠商能超越，輝達還不需我們旁人替他們擔心，其他想追上的廠商才更需擔心自身的瓶頸呀！

@Willdragon2008 6 ай бұрын

老黄将来会是比肩Steve jobs 的行业领跑者。他的气势现在已经天下第一，超越了苹果的库克和巨硬的印度籍CEO

@mugen9630 6 ай бұрын

印度

@paulyi729 6 ай бұрын

有什麼實用的產品嗎？ChatGPT and Sora 的用途是？

@licson0729 6 ай бұрын

不知道怎麼看待新的 Cerebras WSE-3 呢？他耗電量是 DGX GB200 NVL72 的 1/5 但是算力基本上一樣呢模型訓練能力最高能到 24T 參數的

@伍台國-c1o 6 ай бұрын

有看到應用了嗎

@徐志達 6 ай бұрын

可能到後來AI處理架構的解決方案也會類似之前CPU的複雜指令和精簡指令之爭一樣-架構合併，一處理器中含有多種處理單元，各自在擅長領域運行，共同完成運算。

@tangtienji 6 ай бұрын

有人能告訴我，，那個用一片12吋wafer只做一個晶片成品的事是怎麼做到的？

@taieric8978 6 ай бұрын

對比下是否量子電腦快過英伟达B200 GPU

@Wanise1987 6 ай бұрын

非常清楚❤

@黄王-y1h 6 ай бұрын

聊聊未来端到端全视觉方案如果接近完美。会怎么样

@andyliang9037 2 ай бұрын

大刘分析有道理，推理场景一下GPU不一定是最佳的解决方案，端侧要求是低功耗低延时的体验，这与目前GPU的推进方式是背而迟的。这也是许是中国的一个突破口！

@boonsingthia2336 6 ай бұрын

希望大劉可以cover推理部分，能够和nvida競爭的是那些架構。

@rexzhang9942 4 ай бұрын

支持！

@xiongdes 6 ай бұрын

总结：差不多可以卖了

@lionsham8181 6 ай бұрын

据说gpu的难度没有制程大，各位大佬说说看是这样吗？

@chenenjoytheluxury2668 6 ай бұрын

GPU確實理論可以靠無腦堆核提升效能，但功耗會上升，而且現實上還會遇到一堆問題比如io和計算效率等等。實例可以參考GCN架構。

@timh3365 6 ай бұрын

之前一直觉得NVIDIA的东西太贵了不值得，但是看到视频里面芯片的面积后，我觉得价格可以接受了。。。。那么那么大，良率必然高不了，买那么贵是有道理的。虽然就算如此他们利润非常非常高，但是。。。。真的很难，利润不高也支撑不了后续研发了。

@KelvinKMS 6 ай бұрын

貴不單單是晶片，而是軟體，晶片再好，軟體驅動不行也沒用。

@atehe9589 6 ай бұрын

意思就是技术上没有什么进步，但是设计变了，可以做大一些，可以把2个组在一起。看样子半导体的制造技术的确接近到头了。

@yifan9014 6 ай бұрын

还没有到头，但提升空间越来越小是真的

@ntr1381 6 ай бұрын

戰略核顯卡

@OAAGOD 6 ай бұрын

下一步量子计算训练大模型突破时间瓶颈

@florent9456 6 ай бұрын

我只關心nvda還能漲多少

@LawzSkull 3 ай бұрын

大刘真棒，你是第一个讲解NVDA 在 Inference 架构缺点的，围绕这一点可以讲的更好一细一点吗？市场上现在都是说 NVDA多牛逼，我更想知道这家公司面临的挑战是什么？有没有其他竞争对手有超越潜力，和NVDA 如何应对挑战。谢谢

@wyean9087 3 ай бұрын

我門外漢，更好奇米玉傑，魏哲家的埃16，關鍵的cpo，光傳輸的實現時間讓rubin早實現，這意味時光隧道實現了嗎，天馬，行空

@suningtech 6 ай бұрын

是不是核弹不知道，反正以后在后面不接个核电站是会自动降频的

@Invokeeeeeeeee 6 ай бұрын

未来发展微生物处理器，只需要食物就可以用！

@suningtech 6 ай бұрын

那也是蓝鲸级别的怪兽，一口吞掉几十人@@Invokeeeeeeeee

@ngweisoon4809 6 ай бұрын

其实如果AI的能力持续非线性成长，CUDA 的护城河是不是也没有那么深了，因为大厂能用比较短的时间写出CUDA 的替代品？如果不能，是不是代表其实AI 离真正落地其实还有很远？ NVIDIA 的成长可能不是那么sustainable?

@habo168224 6 ай бұрын

說不定他已經有一個鋼鐵人了

@caocaohehe 6 ай бұрын

历史证明游戏产业的重要性😂

@junlee9153 6 ай бұрын

open ai要投资7万亿美元搞芯片，这对英伟达可不是个好消息

@Angiela522 6 ай бұрын

我们是台湾公司销售英伟达全系列产品，需要的请私我，谢谢。

@karlshomekitchen 3 ай бұрын

關於推理競爭對手基本就是正確廢話

@阿才-f1x 6 ай бұрын

以推理來說通用GPU的架構肯定比不上專項發揮的電路

@kingofkors 6 ай бұрын

我也在想，可不可以有专门算ai的硬件，比GPU更节能高效。但是不大懂硬件设计原理。有什么具体思路吗

@paultsao6152 6 ай бұрын

@@kingofkors 已經有了 Groq就是但是可能只適用於特定模型

@nwohocan 6 ай бұрын

功耗也是必須考量，有時候不是快就好@@paultsao6152

@kop5276 6 ай бұрын

@@kingofkors 已經有了，GPU的天花板肉眼可見，NVDA遲早會被超越，除非轉型開發TPU之類的

@军锅锅 6 ай бұрын

说话能不能严谨一点，MVlink switch的连接速度是1.8T不是1800t

@扇风点火 6 ай бұрын

如果你認真研究顯卡產業，你就會發現，老黃永遠留2手，非常可怕

@KelvinKMS 6 ай бұрын

但是 AI 晶片，這次的 B200 很明顯沒有保留 !! 滿血升級 !! 跟遊戲顯卡根本不一樣 !!

@sombie3273 3 ай бұрын

@@KelvinKMS 因為是超越蘋果市值、上打MS的衝刺期。壟斷市場的時間沒人知道有多長，GPU端全力衝刺把市場上的資金全部席捲過來。在別人還在摸索要怎麼跳脫CUDA框架的時候，老黃已經有成堆的資金支持他打造取代GPU的後手。他能早20年布局算力需求爆炸的今天，看著自家的產品，老黃會不知道天花板近在眼前？

@来都来了-u6y 6 ай бұрын

感觉完全听不懂，要能通俗易懂一点就好了。

@雪餅丹 6 ай бұрын

叫meta不要買太多B200要不最近老當掉

@cmLing 6 ай бұрын

就算有再高的科技，也要孤芳自賞了！

@jerry51311 6 ай бұрын

推理領域是負責什麼的？

@ditml6796 2 ай бұрын

算哪门子的核弹

@georgechang4163 6 ай бұрын

數據搬運限制？那是你的知識不足。OPT 的矽光片會與GPU 結合在同一個 Die 裡面，而 Die 與 Die 也可用矽光片互連。SOT-MRAM 也備妥了。

@faberbeta 6 ай бұрын

他说的是大规模多gpu集群，集群内部的通信能力？

@haoransheng6916 6 ай бұрын

10分钟听完脑子都烧干了还是只理解了皮毛

@南方电脑 6 ай бұрын

一个Tensorcore 不就是一组cudacore吗那多用几个cudacore不也一样吗

@jobelou2805 6 ай бұрын

建议结果用图表对比

@xiaolong174 5 ай бұрын

为什么不这代就四个Die拼接？下代就八个Die。。。

@mjk7530 6 ай бұрын

算力決定 AI

@风筝-k7b 6 ай бұрын

二年后过来鞭尸

@linlinhe9864 6 ай бұрын

再讲一期AMD吧

@PeterPan-rr6qg 6 ай бұрын

大刘：黄总打钱……

@paklulu5218 6 ай бұрын

认真学习

@Dixx10046 6 ай бұрын

NV向aaple的M係cpu學習堆料技術🤣

@chenchen8173 6 ай бұрын

$$$ 大錢出奇蹟, NVDIA 繼續強大

@叶之秋-v9g 6 ай бұрын

应该多谈谈AI应用。

@polectoular4712 3 ай бұрын

7:47 应该是1800GB/s才对

@hsujack-sl4wu 5 ай бұрын

講話真的很快聽起來有點吃力

@marvinzhang3734 3 ай бұрын

HGX b200现在卖多少钱？？？

@梧桐樹-v4r 6 ай бұрын

你任為AI何時會統治人類？

@taijistar9052 6 ай бұрын

中国追上西方技术有可能，但追上华人加西方难度巨大！

@lei82 6 ай бұрын

“文化-制度-技术”。根植于谎言和掠夺文化的党组织只能干些杀人越货和偷鸡摸狗的勾当

@yufu4456 6 ай бұрын

进入中国要追西方这个模式方向就已经错了。现在的“西方”早就不是地理概念和种族宗教概念，而是一个价值观或者说国家治理模式下的利益共同体的概念，现在的“西方”是美国领导下的发达民主国家和地区组成的一个利益共同体，包括北美、西欧、大洋洲以及东亚的日本韩国台湾新加坡，他们内部有相当高的互信，所以经济科技文化贸易和人员交流可以在很大程度一体化，各国以最擅长的方面进行合作产生效率和水平最高的产品。在这种情况下进入了“中国vs西方”的模式实际上就等于中国一个国家挑战全世界，理论上也不可能有胜算。

@oreo6242 6 ай бұрын

@@yufu4456 罗马，大英帝国去哪里了。历史去再看几遍。不是什么中国，不中国。是人性的恶。

@miniliao9904 6 ай бұрын

讚！@@yufu4456讚！讚！讚

@马宁-v3e 3 ай бұрын

@@yufu4456只有豬頭才會想要挑戰世界～😅

@haoosc5017 6 ай бұрын

天天载入史册，震惊人类，类人之光，改变世界。

@annecylevieux8965 6 ай бұрын

我ㄧ個字都聽不懂但欽佩黃仁勛的堅持。

@taieric8978 6 ай бұрын

英伟达遲早要用核電廠先能供電

@卢霄氷 4 ай бұрын

哈哈，单核到头了，开始搞双核了

@twgreenplus 6 ай бұрын

高耗電是AI的敗筆，也是結束人類的開始

@yangminghuang1509 6 ай бұрын

挺有深度的技术分析!能否分析一下英特尔的制程技术现状和竞争力？

@HowardChung-b3c 6 ай бұрын

老黄是营销高手

@m0003506 6 ай бұрын

他的眼界遠高於99.9的華人

@hectord4693 4 ай бұрын

"Promo SM" 😱

@zohar6006 6 ай бұрын

兩個die之間就是靠NVLink連結的

@Ocean-nz3cg 6 ай бұрын

tsmc，3nm=Fin Fet，2nm=GAA Fet，1nm=C Fet

@yifter4043 6 ай бұрын

下一代應該是NV第一次使用Si-Pho

@AkT-k4r 6 ай бұрын

華為遙遙領先

@醉落魄 5 ай бұрын

让天网去开发天网吧

@小月读书斋 6 ай бұрын

说了等于没说还是不懂

@DULENSHK 6 ай бұрын

還沒看到現在所謂的AI有什麼革命性作用😅

@nbspnbsp5639 6 ай бұрын

自媒体比较嗨

@TaikengYong 6 ай бұрын

肯定的是，屎册😂

@shaoyingwang 6 ай бұрын

英伟达同特斯拉比较，相对应的在汽车自驾应用的水平差距如何? 在这方面，特斯拉同英伟达从最初的合作伙伴关系，渐发展成竞争关系: 特斯拉不断地向上游深挖，英伟达带领着特斯拉的竞争对手不断地向下游深挖。做为特斯拉的投资者，很关心特斯拉的fsd, 比较英伟达支持并参与下的竞争对手的自驾系统，其领先地位如何? 尽管马斯克去年说其fsd的下位竞争者还看不到影子. 今年三月，在特斯拉fsd12.3版及英伟达blackwell的B系列脚跟脚地launch之后，特别是英伟达与比亚迪及众多新能源车企在此方面日益紧密的合作下，很关心特斯拉fsd的competitive strength 到底有那些，还可以维持多久，这将是决定特斯拉命运的一个关键要素之一。请大刘客观地谈一下。

@RichardLiu-h3g 6 ай бұрын

英伟达在自动驾驶领域有通用型软硬一体解决方案

@Jersey1225 6 ай бұрын

@@RichardLiu-h3g可是英伟达沒有特斯拉這種一款車型的訓練数据，所以我赌特斯拉贏

@RichardLiu-h3g 6 ай бұрын

@@Jersey1225 没有？那你是不了解，可能英伟达的数据比特斯拉的还多，对，记住我这句话，不是以后，就是现在可能比特斯拉的还多

@Jersey1225 6 ай бұрын

@@RichardLiu-h3g 你這是可能，我是說特斯拉的單一類型車的行使数据一定是最多的。另外我不喜歡特斯拉也不是特斯拉吹，也不喜歡馬斯克，只是说下這是事實。

@RichardLiu-h3g 6 ай бұрын

@@Jersey1225 特斯拉不是最多的

@dl0_0 6 ай бұрын

可以添加英文字幕吗？😢

@bglabgla 6 ай бұрын

我看英特爾真的要完蛋了，唯一最賺的伺服器市場已經被AMD吃掉一大塊了，現在又有NVIDA背刺

@WuJackme-ui4kg 6 ай бұрын

最新的B200還是四奈米，而不是三奈米制程

@ps3301 6 ай бұрын

3nm良率不高，appleSoc小，所以不介意，NVIDIA用3nm利润就降低

@johnchen6783 6 ай бұрын

@@ps3301誰跟你3nm良率不高，那現在滿載的3nm客戶都是笨蛋？是因為輝達用4np就能屌打所有對手，根本用不上相對貴的3nm

@-Badwini- 6 ай бұрын

@@johnchen67833nm現在良率大約80～85%，去年才出一個新聞，TSMC為了留住APPLE，願意吃下不良率的部份，產生35至40億帳款退回。

@lumanliu8457 6 ай бұрын

@@johnchen6783请问英伟达的gpu是台湾哪几家公司代工的只有台积电吗？是不是制造难度比逻辑芯片低为什么很少见人提起

@鄭先勇 6 ай бұрын

@@johnchen6783 原諒這種吧~他認定的良率不高永遠都是人家量產初期的良率跟一群ㄚ陸仔一樣對這世界極近無知 3nm產能NV不想要? 不介意? 超好笑的...... 排隊吧~ 我只能說....排隊吧不管H100.B100....還是有的沒的.....COWOS產能根本不夠台積把台灣6座COWOS廠做好都不夠.....加日本也不夠