【人工智能】Etched AI推出ASIC芯片sohu挑战英伟达 | 三个哈佛辍学00后 | 融资1.2亿美元 | 推理速度比H100快20倍

【人工智能】Etched AI推出ASIC芯片sohu挑战英伟达 | 三个哈佛辍学00后 | 融资1.2亿美元 | 推理速度比H100快20倍 | Transformer专用ASIC芯片

Рет қаралды 22,589

Күн бұрын

6月25日，三个从哈佛退学的00后本科生，克里斯.朱Chris Zhu，加文·乌贝蒂Gavin Uberti和罗伯特·瓦亨Robert Wachen成立的Etched AI，宣布完成1.2 亿美元的 A 轮融资，并且发布了重量级产品，号称推理速度比英伟达H100快20倍的sohu芯片，到底能不能挑战英伟达呢？
#人工智能 #nvidia #etched #sohu #transfomer #asic
成为此频道的会员，即可享受提前一天，观看频道最新发布视频的福利：
/ @bestpartners

Пікірлер: 99

@ProabenTV 3 ай бұрын

八成是本來要當礦場，乾脆魔改在AI上用。世界就是要創新用的，有天使投資真好~

@Acamas-ul3kg 3 ай бұрын

我覺得一開始他們跑贏了。旦接下來又會有一群人改投ASIC，台灣就有許多這樣的公司可以幫忙，聯發科，世芯，創意，還有許多小公司都是在做ASIC.

@randomchineseguy6462 3 ай бұрын

只亲和transformer如果算法发生变更就不行了，最近就有做去除矩阵乘的llm结构。另外他们的ASIC片间通信能力如何呢？很怀疑实际集群能力能挑战英伟达。在另外，LLM根本是memory bound吧😂 其实TFLOPS没那么重要还有CB和ASIC没什么关系啊，现在哪个服务框架没有CB?

@lilingfei8703 3 ай бұрын

问题是没什么护城河啊，这个理念提出来，谁都可以做啊

@makeworldbette 3 ай бұрын

NVDA 自己也在做 Transformer ASIC，兩年內就會有

@seal978 3 ай бұрын

那不就成本大幅降低效能大幅提高？

@zijinzhang20 3 ай бұрын

我还是看好GPU，因为通用性更好，要是transformer架构过时了，那么专门为transformer设计的电路也就过时了。

@tonyng8075 3 ай бұрын

不看好 transformer ASIC 太直白是個人都能想到如果那麼好各一廠一早就布局再說 transformer 是否沒有更佳的替代方案 ? 我相信肯定是有

@cicerochen313 3 ай бұрын

nVIDIA根本無須擔心。除了軟體方面根深蒂固外，新出現的幾個新對手，完全是不同的領域。training 和 inference的晶片，根本是兩回事！！nVIDIA 或投資人要當心的是黑天鵝的出現！！

@asir3021 3 ай бұрын

是吗，老黄抄你作业怎么办

@yufwang 3 ай бұрын

大公司炒不了作业，所以大多数新技术都是来自于创新公司，谷歌投入那么久，还是transformer 的发明者都抄不了OpenAI的作业

@Guavaava 3 ай бұрын

老黄抄作业不如直接收购。

@龙龙海-o7i 3 ай бұрын

基本不敢抄！因为会被告到破产！但是祖国除外！

@朝辉-w6g 3 ай бұрын

肯定会抄的

@OAAGOD 3 ай бұрын

无脑，以为啥都能抄

@shooding 3 ай бұрын

他這個晶片有多少賣多少，但他沒有話語權去包4nm產能，costdown往7nm或是14nm實作，接著不到一個月就會遇上中芯複製大軍，我們可能日後就可以看到這東西跟以前網路卡一樣普及。老黃要抄作業的話只需要挪1/8位置出來，用chiplet方式封裝transformer asic就行了

@MusicalPan 3 ай бұрын

是想打破nvidia的壟斷吧。

@masa4680 3 ай бұрын

在ChatGPT發表前就看上Transformer, 有眼光；有一個問題是他們能不能及時爭取到HBM的供應和台積電的產能，很可能是兩年以後的產能了。

@zohar6006 3 ай бұрын

台積電的傳統會為這種有潛力的新創公司保留一小部分產線當投資反正新創公司也不可能有資金包下大量產能，如果成功的話未來都是台積電的客戶因為是少量生產，所以HBM其實可以先用三星的，反正還擠不進輝達供應鏈況且一款晶片從設計到流片再怎麼快也要超過半年，新創小公司可能要更久兩年內可以交付台積電開始生產就算很快了

@Guavaava 3 ай бұрын

@@zohar6006我觉得得一年到两年。

@kmen5354 3 ай бұрын

中國一早有一堆這類專針化芯片設計品牌, 現在都倒了九成九了,因為單一功能芯片和通用性問題,一直沒法解決. 還有產品可靠性,巿場位置等等, 小資本一下就卷沒了. NVDA也是卷卷卷贏下來,沒有遊戲卡和前段礦潮,積累資本和技術沈澱時間,,也不可能有爆發期,.

@nwohocan 3 ай бұрын

老黃去年就開始往客製ASIC前進

@chishengwu7775 3 ай бұрын

這些公司在計算nvidia的運行速度時多半沒有拿Nvidia官方的Tensor RT LLM下去跑隨便拿個pytorch或llama.cpp跑了就說測過了計算基準有問題另外用ASIC不會比nvidia快，因為都是卡讀取頻寬頂多面積比較小比較省電另外LLM只看DRAM利用率看FLOPS利用率一點屁用也沒有 Nvidia DRAM利用率已經做到9成以上逼近理論極限你唯一能做的是做得比他省電比它便宜但你根本買不到HBM記憶體，現在光是下訂就要排到兩年後了要怎麼做贏nvidia? 另外我看他宣稱的技術，Nvidia也都會啊動態拼接batch這件事早就有了除非你像groq或Cerebras做純SRAM架構才有可能成功如果他不是打SRAM這個賽道的那麼出廠即進垃圾桶

@CanseeYou-rw6rc 2 ай бұрын

@@chishengwu7775 省錢又省電，Sohu 是否適合偏門或冷門的 AI 語言模型市場？

@erikthought 2 ай бұрын

@@chishengwu7775 高手

@zhenyuezhao9641 3 ай бұрын

不看好，这种在生态上极度贴着环境进行进化的，辉煌的很快，但是当环境有变化的时候，死的也是最快的。IT历史上，专用设备是干不过已经形成社区的通用设备的

@tangtienji 3 ай бұрын

功能機對比智能機？現在是有人設計單純功能的智能機。

@yangyang1412 3 ай бұрын

要講幾次重點是生態圈要比asic goole tpu會讓你吃這塊餅嗎

@陳貓貓-v5j 3 ай бұрын

打不贏就加入，雖然在風頭上誰都捨不得賣公司吧

@SHEEP0972 3 ай бұрын

@@陳貓貓-v5j我倒覺得他們會想賣公司

@xiaolianyuan6660 3 ай бұрын

有意思，上周看到Google的开发者讲座上提到当前它们多模态AI 全用transformer 的架构时，我就想到这个程序架构可以考虑硬件化，不享大飞今天就来个现成的产品了… 老黄考虑收购他们的可能性很大哦

@PaiChen 3 ай бұрын

業界大魔王沒那麼容易打敗的 … 我把世界的一半分給你（併購 Y/N

@hjtam88 3 ай бұрын

看谁先卷死谁？😁

@小兵-j1r 3 ай бұрын

人家還有GPU GPU串聯技術. 軟體生態以及TRANSFORMER也不見得會是唯一使用的模型架構 ASIC化大家一定有想過但為何GPU公司沒有即刻開發我想一定有看到甚麼是我們不知道的就跟當初挖礦一樣換個算法礦機就廢了

@徐小號-j7s 3 ай бұрын

不管誰開發晶片都會被說要挑戰Nvidia ，但他們是不是忘了要去台積電綁樁比較重要？說穿了英偉達畫得出晶片他可做不出來呀

@阿霖-e1h 3 ай бұрын

如果以後晶片成本降得夠低的話可能會變成一張AI加速卡就像以前的GPU一樣獨立出來以後就變成程式或遊戲會標需要多少等級以上的AI加速卡

@bevinsiqiruan3023 3 ай бұрын

我脑海里的问题：谁会是客户？微软亚马逊这样的云厂商吗？如果大量部署在dc中后transformer架构出现升级调整引起硬件不兼容或甚至transformer被淘汰，谁对购买这堆硬件的决策负责？另外台积电有富裕4nm产能给这个客户都不确定的产品吗？我觉得这两个问题关系底层商业逻辑。

@manonamission2000 2 ай бұрын

@@bevinsiqiruan3023 car manufacturers, where high-throughput tokens/second matters... imagine, several LLMs running locally on each car.... satellites, possibly

@paulzhu7694 3 ай бұрын

感觉多模态不太好用，但是能解决transformer推理效率，能把api价格打下来10倍，也是极大市场了

@biglazycat 3 ай бұрын

nice T-shirt !

@stansuen8072 3 ай бұрын

最後的評論甚是，隨時被收購！但也無妨，這些年青人 All In 不會死的，有的是胆量及知識，這個項目不行自有另一個項目，而且所以謂 All In 只是有投資的資源為自己吸收經驗！如果我有這樣的腦袋及回到年青時，我也會來一個 All In！😅

@CharlieCL 3 ай бұрын

只是推理，没有学习，竞争力不够。

@catchfishattexas 3 ай бұрын

要用asic超越GPU不是没有发生过，就是挖矿那一波，现在那些上市公司还在呢

@austinsu5838 3 ай бұрын

很快的就會被Nvdia收購

@tomduan1988 3 ай бұрын

transformer被其他模型取代了怎么办？这个赌的有点大啊。cuda就没有这个顾虑。

@yuguo7138 3 ай бұрын

再研发别的 ASIC

@microseqguru2715 3 ай бұрын

靠！我也要去休學磨晶片了

@corgirun7892 3 ай бұрын

看到美国的00后也这么有创造力就够了

@jerryhu3654 3 ай бұрын

Etched 提供了一种思路，就是AI 需要以一种或者几种通用network来完成主要工作，然后这几种network都有专用的芯片。老黄还是回头玩游戏😂。

@dawnnee267 3 ай бұрын

和 groq 的技术方案有什么区别❤能出一期讲讲吗🎉

@user-LIONACE 3 ай бұрын

重點是GPU軟體生態系與CUDA高度依賴性無法超越

@zcq6516 3 ай бұрын

这条技术路径其实不难想到。英伟达，AMD，或者INTEL等芯片厂如果想做也应该不难，但为什么只有这三个小伙子在这个方向创业？

@yuguo7138 3 ай бұрын

对他们的股票没有好处

@zcamoy 3 ай бұрын

@@桂雨-o2s ASIC 是集成电路专业本科生课程里就会教的，是非常传统的解题思路。 Google 的 TPU 就是 ASIC

@manonamission2000 2 ай бұрын

risk

@wds3222 3 ай бұрын

都B200 了你是 lag ?

@kaiwenhe5518 3 ай бұрын

不知道前阵子出的那个Groq又是什么。

@防水哈哈 3 ай бұрын

喔是嗎那也要看台積給不給你產能

@zhenyuliu7545 3 ай бұрын

所以sohu的制造成本是多少呢？

@盛峰-i8p 3 ай бұрын

长江后浪推前浪，世上新人赶旧人

@jerryhu3654 3 ай бұрын

老黄就是台风口的二师兄啊😂

@yuli.kamakura 3 ай бұрын

100000B，哇～

@garyshi 3 ай бұрын

Wait, is this inference only, or for training too?

@bestpartners 3 ай бұрын

inference only

@garyshi 3 ай бұрын

@@bestpartners so how does it compare to Groq, which is a more general approach?

@chengyuyu4776 3 ай бұрын

只能inference

@simonpeter9617 3 ай бұрын

你这一期非常好！

@howardzhai7197 3 ай бұрын

这有些misleading了；对LLM优化的结构跑不了Sora这类vision model的。

@manonamission2000 2 ай бұрын

maybe it can do better

@RelaxWorld975 3 ай бұрын

高端芯片这么容易设计的吗？

@orderofchaos8680 3 ай бұрын

英伟达取得今天的成绩也不仅仅是因为硬件性能好。AMD的显卡光看数值并不比NVIDIA差。但NVIDIA成熟的软硬件生态和一体化解决方案（包括售后服务）不是几个初创公司能够比较的。

@manonamission2000 2 ай бұрын

Etched is likely looking to get acquired

@scchen2011 3 ай бұрын

第二

@盛峰-i8p 3 ай бұрын

为什么英伟达的一众科学家工程师没想到

@manonamission2000 2 ай бұрын

how old is Nvidia? large corporations become slow over time, plus it may be a risk that Nvidia might not be willing to take. Etched's vision has an R&D flavor to it

@盛峰-i8p 2 ай бұрын

@@manonamission2000 Hope you r right