【AI】目前AI公司还需要多少张H100 GPU显卡 | 为什么不选AMD和V100 | 半年内H100短缺 | 产能瓶颈在哪里 | 英伟达NVIDIA

最近，GPU Utils更新了关于英伟达H100显卡供需现状的分析文章，里面主要透露、总结了当前影响GPU的主流厂商拥有显卡的数量以及对显卡的需求量。
作者表示，考虑到训练和推理性能，以及推理方面性价比，H100是当下最受欢迎的GPU（具体为8-GPU HGX H100 SXM）。GPU Utils认为，保守估计，H100的供给缺口达到43万张。
#gpu #英伟达 #nvidia

[@bestpartners]

原文链接地址：gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/#which-gpus-do-people-need

[@simonpeter9617]

现在看起来， 老哥的判断太准了！！！

[@ericchang9568]

Very good forecast! 2024 Aug update: Meta Llama3 trained on 12K H100 chips, Grok will train on 100K H100 chips. chatGPT-4 was ~12K chips, but chatGPT-4o is 8x chatGPT4.

[@dominos01]

製作用心，立馬訂閱 內容訊息量很大，需要多看幾遍才能消化。👍👍👍 記得開字幕😁😁😁

[@jingqiwu2865]

感谢这些信息！ 现在各大软硬件厂商，都想互相制约。比如Nv也要搞模型，msft不想挂在Nv一棵树上，跟AMD眉来眼去，同时平台开放azure给开源模型不想被openai掐住**。一场春秋战国大戏，戏说一下。 另外还可以分析一下目前各家的护城河问题。是什么让他们站稳脚跟。

[@bestpartners]

是，能聊的很多，也欢迎提供素材，感谢支持

[@dbb3756]

能再分析一下，今年英伟达的新产品以及芯片供需情况吗？还有AMD的威胁情况也想听一下专家的介绍🙏🙏🙏🙏

[@haifengli4972]

干货满满！

[@user-ij1lk9kd6z]

博主能否根据目前的最新情报 (META 说今年要采购35万张 H100 以及在供应端TSM 的COWOS 产能未来50% CAGR 增长) 能否再更新一下 对AI 公司的 H100需求 以及NVDA 可能达到的供应极限? 非常感谢

[@yuli.kamakura]

有文章链接吗？谢谢最佳拍档

[@國立武漢大学]

老哥，请问你用的麦克风是什么牌子型号？声音质量不错！

[@bestpartners]

AKG 的

[@bjzh7583]

一时一事，现在已经有在研究协处理器的公司产品，提高cpu几倍性能。如果普及，那么高性能显卡需求会大幅减少。

[@real_xijinping]

Intel早就做出来了，代号Xeon Phi, 最后暴死。CPU 不够装两个，两个不够可以装四个，显卡是永远无法被 取代的。

[@tonytony11117]

@@real_xijinping❤

[@user-ws7dr9qx7q]

🎉🎉🎉❤❤❤

[@val_3311]

請問為甚麼大多的客戶會選擇 8GPU HGX H100 而不是 DGX H100 或 4GPU HGX H100呢?

[@user-cc7ej9ev8f]

有六个月以前听劝买了英伟达股票的吗？

[@simonpeter9617]

今天才看到， 干！！！ 认知太低了

[@user-sb9gy8li1m]

@@simonpeter9617你留言的時候也還能買

[@e44168]

說說最近的LLM發展吧，這個比硬體發展更多內容可以分析。

[@bestpartners]

👌 这个是比较早的视频了

[@snowsong100]

HBM 好像是SK Hynix負責？

[@zhaixiaoba]

感谢分享

[@QINGGENG-YUDU]

遗憾没有早看到这个视频，早看到我要打赏博主 $100

[@bestpartners]

哈哈，没事，后续请多关注

[@564355821]

博主 对集群组网或者性能调优有实践经验吗？可以合作

[@zhiyongyao5697]

我也不知道为啥，太奇怪了，为啥客户要这么多H100????? 我很懵逼

[@fanyi490]

我们现在H100采购价已经能谈到25万美金了😂

[@user-dq4br6lj2e]

@@fanyi490 现在多少？

[@user-dq4br6lj2e]

现在多钱？

[@and6sdf]

我今天看到NPU ， 比gpu 能耗低，效率更高。这个NPU 有什么详细解说吗？ 谢谢

[@bestpartners]

回头讲一期

[@and6sdf]

@@bestpartners谢谢您

[@tianshou5071]

AMD应该赶紧开发自己的大语言模型，按系列开发，从幕后走到前台

[@xiaolong174]

谷歌的TPU还是不顶事吗？

[@bestpartners]

回头专门出一期讲讲TPU

[@qiyang7234]

instruction 里面的 是不是写错了，具体为 8-GPU HGX 是指8块核心 H100 的 型号么？

[@老条]

是的

[@willy-e9f]

国内有货

[@walkinmud3306]

SXM, 不是smx啊😅

[@bestpartners]

谢谢，确实是错了，感谢指出🙏🏻

[@snowsong100]

聽說Nvidia 無法拿到更多的台積電產能。

[@PakhongChan-fn5in]

光H100，不足以決定勝負

[@袁海洋-g5e]

中国大陆能买到吗

[@army8756]

美國商務部已經限制了.

[@PakhongChan-fn5in]

來到此時，GPu領先。并不具決定性

[@DragonLong-vs3zf]

英伟达的票 不少人赚了200倍了 哈哈

[@沅哥]

我有9張現貨

[@bestpartners]

你是在炫富么😎

[@user-st5in8zr8u]

即便是国内走私货，也就35万一片，9张也就300万，不够塞牙的

[@yuli.kamakura]

拍档有下场做吗？信息掌控程度，搞科普不会太小了咩？ 嘻嘻

[@bestpartners]

哈哈，还是搞自媒体比较自在，创业太累了

[@yuli.kamakura]

@@bestpartners base us？ sg？

[@bestpartners]

cn...

[@snowsong100]

嘩！50萬張？誰嘔得出來？

[@hannahwoo4494]

0