【芯片前沿】英特尔的这个AI芯片，性能如何超过英伟达20倍？[A Brief Literature Review on FPT2020] ｜老石谈芯

[@laoshi_tec]

视频点赞超过5000，就加更一期介绍微软FPGA项目的内容，就请多多点赞吧！ 如果本期视频对你有帮助，请帮我点赞分享收藏，也欢迎关注我的频道，我会持续带来更多这样的内容。 视频里介绍的两篇文献全文均可通过IEEE Xplore获取，我的注解版本会分享在知识星球里，谢谢大家。

[@yanyufei11111]

真的硬核... 我一个CS做软件的人也听的津津有味... 能把一篇paper的精髓讲透彻的人，足见其功力 👍

[@zhipengzhao9781]

开心！有幸co-author了第一篇文章

[@laoshi_tec]

大牛来了！非常好的工作，祝贺！

[@gamesinsky]

lol 今天才發現這個頻道, 沒想到就遇到labmate

[@zhipengzhao9781]

@@gamesinsky 哈哈神奇

[@weilinxu9887]

@@gamesinsky 居然就遇到我哥的labmates😁

[@dariuswu4405]

我是一个新闻专业的文科生，从高效工作那个超棒的视频接触到大佬您，个人爱好喜欢接触了解一些科技动向，但是可能无法也不会太过深度（因为也有自己的方向），但大佬的视频对我这种小白看到科技前沿动向也很有帮助呐！谢谢大佬！

[@leoshu4437]

我是臺灣大學電機工程的學生，主修數位VLSI，很喜歡老石的視頻，希望可以看到更多這類型的介紹，會點讚多多支持的XD

[@p.c.c.2556]

感謝老石無私分享如此硬核技術！必須推！

[@laoshi_tec]

谢谢您！

[@mjliu2423]

超级喜欢看老石的视频！不知道老石对IoT的芯片了不了解？有机会的话，可以跟我们对比一下IoT芯片和传统的电脑手机芯片的设计概念么？

[@GoogleUser-ee8ro]

太喜欢这样的业内热门论文点评视频，老石多做一点吧。 💖💖💖👍👍👍👍

[@alfdene528]

很喜欢你这样分享论文的内容！！希望你可以继续制作这样的视频，分享新的研究成果

[@laoshi_tec]

谢谢支持！

[@Sausage-u5g]

如果是成大固態碩畢 有機會面到這些職位嗎???

[@chi-fanghsieh9899]

老石您好 最近在做這相關的ASIC與Algorithm 6:00 左右有提到tensor core之間直接相連的優勢，這跟intel skylake 中的 Ultra Path Interconnect (UPI) 概念很像 請問大大有何推薦的paper在探討這種由tensor core組成陣列或網路架構與toolkit的設計? 再次感謝您無私地分享

[@johnq4841]

哇，逻辑清楚，而且易懂，太厉害了

[@jatlukze4457]

Hi 老石你好。感谢你为读者带来干货满满的内容，每次看你视频都感觉获益良多。我最近看到一个传闻可以媲美 Nvidia A100 的 AI 芯片，Graphcore 的 IPU。从参数和内容上看，这个芯片的架构对 ML 的 approach 跟 GPU 和 FPGA 都有些不同。当然从参数上看无论能耗，运算速度，延迟，价格这些方面都比 A100 要好。不知道你是否有关注这个 IPU 芯片，是否有兴趣做一期视频谈谈你的看法？

[@laoshi_tec]

谢谢您，您说的这个属于asic也就是专用芯片，之前的一期内容介绍过四种ai芯片的对比，可以看看。我一直在关注这家公司，之后会考虑出一期内容介绍一下。谢谢建议

[@David82762]

我们也在研究基于机器学习的芯片设计。推送真是精准。

[@dekura1900]

第二篇paper暂时搜不到，arxiv也没有，老石方便给个链接吗，谢谢!

[@GoogleUser-ee8ro]

第二篇文章的思想好像已经被谷歌的Jeff Dean实现了， 他用RL来加速优化TPU的EDA设计。虽然是ASIC，殊路同归

[@liyaluo4267]

您提到的研究领域和方向非常有意思，是否可以在类似的视频评论区给出论文的题目，如有链接更加受益！感谢分享！

[@tanyalu8711]

满满的干货 太棒了 听的也很有趣 求更新对那两个大佬的深入讲解 哈哈哈哈 而且学到了读文献的好方法

[@laoshi_tec]

谢谢！

[@drizzleq1164]

元旦后第一期，就这么硬核～不错。哈哈😄

[@laoshi_tec]

谢谢！

[@qianma4918]

GPU主要用于training，做inference性能肯定不如专门优化过的好，功耗差的就更多了，架构决定的。

[@shawn_hu]

老石能不能讲一讲对Tenstorrent这公司产品的看法？ 貌似他们做的加速器还挺好？

[@shawnyao7850]

嘩 今天這集解答了我關於GPU實時運算的好多問題...

[@junglechan3926]

你好，為了讀懂用強化學習去減少EDA編譯時間的論文，也是需要特別去搞懂強化學習技術嗎？這兩塊可說是完全不同的領域呢。謝謝🙏

[@ultimatejy9393]

希望老石以后的视频 可以在字幕里为专有名词标个英文翻译

[@laoshi_tec]

好的👌谢谢建议

[@東京冒險王]

非常感謝您的資訊

[@hsueric1810]

请问有ai和布局算法结合的比较好的论文推荐吗

[@laoshi_tec]

可以看看这篇文章的参考文献

[@Chris-fu9hr]

好视频，点赞👍！！！ 我还有几个问题想请教老石，如果我理解正确的话，就是说Intel 在AI芯片方面，和其他大厂比起来，是有很大优势的？ 这些技术Intel已经商用了么？

[@laoshi_tec]

谢谢您。并不代表有很大优势，只是视频里提到的这两个东西对比时有优势。已经商用在微软的项目里了。

[@shane916zo]

難得有厲害的高手 給個讚

[@yuwang5814]

真够硬核的😂

[@billmguo]

能对比一下xlinx同款产品Alveo Uxxx吗？FPGA 利用率高但是通用性差，感觉数据中心依然是nvda gpu dominated，数据中心CNN应用不到15%，更多可能是LSTM和MLP, 感觉加速的设计方向都是加tensor core和IMEM，有没有更好的设计方向？

[@weichen495]

應該換個方式說明，整體架構早在四、五年前或更早之前就早已知了！只是整體架構還不足，且可用率與占比是否值行研究？先了解FPGA,GPU與CPU差異，就不難了解。AI詞的演進剛好能助FPGA&GPU 加速進程，CPU架構不大，因為被既有的基礎運算架構與各層指令集·函數調用限制。FPGA. GPU運用的場景為何，就可知了！為啥Intel要試圖找路和市場？詳細內容請參看版主之前影片，都有說到。版主也夠有耐心查閱各相關文件，厲害！🖒

[@user-tg6ot1mb2i]

哇 喜欢老石的视频

[@zhw7635]

记得去年或者是前年还看到Xilinx在招Reinforcement Learning做FPGA P&R的实习生，我要去拜读一下目前的成果！

[@royluo971]

这篇文章既然说A100不在7nm制程上做比较，那也不应该拿FPGA跟GPU做比较啊，两个东西的价格和架构都不是同一个级别的，光拿benchmark数据看有种田忌赛马的味道在里面。请问老石是如何看待这个问题呢？

[@jerrytao1026]

正因为FPGA跟GPU架构不一样，才可以比较两者对AI哪个更好，也就是比较哪个架构更适合做AI，如果用制程不同的芯片做比较？性能差距会被制程的优势所掩盖，那就比较不出架构的优势了，你说呢？

[@siqinwang8189]

目前在Penn读书，曾有幸在课上听了Martin Langhammer关于FPGA低精度计算的guest lecture。可惜完全没听懂哈哈哈

[@laoshi_tec]

厉害了👍

[@tortoise133]

滿滿的乾貨啊～

[@peterchang3998]

簡單的說，FPGA是一種可針對算法進行硬件內部再設置進行優化的ASIC，硬件計算針對某種算法有效率一點都不讓人驚奇，用FPGA針對挖礦算法的礦機性能超過顯卡類礦機，不過，只是以硬件的特用性取代硬件通用性為代價的，而GPU顧名思義是針對圖像顯示專用的處理器，用於AI算法不能發揮全力我覺得也不需要研究證明的，要研究只是需要知道可以優化到什麼程度而已。

[@jerrytao1026]

你的意思是如果在设计GPU时也在AI方面做一些优化，那么GPU就有可能超过FPGA？是这样吗？

[@peterchang3998]

@@jerrytao1026 不是的，GPU的結構是針對圖像處理而優化的， 根本不是針對AI而設置的處理器。 FPGA可以根據設置橙相對AI比較優化的結構，但是未必是最優的結構。FPGA是一種內部邏輯單位結構可以用程序再設置的集成電路而已，FPGA可以優化的程度往往受本身原來設計的最小邏輯處理單位結構所限制的，雖然可以根據算法對結構做某種程度的優化, 但未必可以達到最優。所謂AI，也不過是神經網絡結構，最優當然要根據這種結構去特別設計處理器纔會得到最優的處理能力的。

[@jordanpui6893]

SA现在就VTR还在用了吧。这种pack and place的 perf. 完全比不过flat的analytical method

[@Alessandro-gg4el]

老石老师您好，我的专业是嵌入式，学习方向偏向芯片设计，现在想系统的学习一下脚本语言，您能给推荐一下吗， python perl TCL 哪个好些呢？哪个在面试的时候优势更大一些呢？ 谢谢笔芯

[@laoshi_tec]

个人推荐python吧

[@powerkp]

請問這種等級的AI晶片，什麼時候才能成為消費級的產品?

[@laoshi_tec]

这些本就不是针对消费级的应用设计的，谢谢留言

[@kiddsu9941]

有专注消费级的AI芯片，比如低功耗的KL520和KL720. www.kneron.com

[@jerrytao1026]

@@kiddsu9941 你说的消费级AI芯片就是目前大陆用在人脸识别上的吗？

[@kiddsu9941]

@@jerrytao1026 对，有用在人脸上的，也有很多其他的应用

[@张月月鸟]

不知道老石对FPGA 在AI 边缘计算上有没有研究？

[@changszuchin856]

FPGA. 不適合固定算法的。性能遠差固定算法晶片

[@dongpei021]

可以请教下是如何下载到最新的论文么？谢谢。IEEE 网站上只有2019年的会议，还没有2020的。

[@laoshi_tec]

嗯好像还没完成收录，应该快了。我是在会议官网下载的，需要注册，但是免费

[@dongpei021]

@@laoshi_tec 多谢多谢，可以免费注册

[@dominicss100]

T4是两年前的GPU，这个intel的FPGA是14纳米对比nvidia的12纳米的芯片，paper还是英特尔的工程师一起写的，建议你也找一篇nvida工程师写的有关GPU和FPGA的文章，估计结论会完全颠覆，多讲一些结合文章，你做的对比实验，和你的理解

[@jerrytao1026]

那你能拿出Nvidia工程师写的有关GPU胜过FPGA的文章来吗？如果有请给个链接？

[@dominicss100]

@@jerrytao1026 太多的GPU比FPGA在某一领域强的文章(例如 cas.ee.ic.ac.uk/people/ccb98/papers/DavidFPL10.pdf) 原因是GPU的AI应用市场确实是强，但是并不代表GPU真的在任何AI应用方向都比FPGA好，所以随便拿一篇颇有市场导向性的特别是有自己FPGA产品的英特尔工程师写的FPGA能力比GPU强的论文在这里做分析，还是把人家说的话再说一遍来强调其权威性，并没有自己的见解或提出不一样的或是更多的思路，所以感觉有点传销的味道，我一般看到英伟达工程师写的在某一AI应用自己比xPU强的文章一般会跳过，因为商业传销性比较强

[@jerrytao1026]

@@dominicss100 你给的链接根本打不开，你莫不是在忽悠我吧？而且我讲的是在AI方面的强，不是在显示方面的强，你拿个GPU在显示方面比FPGA强的文章又有何用？

[@dominicss100]

@@jerrytao1026 链接是有问题，抱歉哈，是一篇在高性能计算领域的论文，你自己可以google一下论文的题目“GPU versus FPGA for high productivity computing” David H.Jones的文章

[@素元的元素]

SA确实效率太低了.不是还有force directed的place算法么？不好用？

[@karcheu]

很好的設計構思，竟然買不高階晶片，那就用成熟製程、功率比較高的晶片同一時間多做一些功能的整合。 真的很聰明

[@dntknow]

三年后咋样了？

[@ryanyoung6891]

请问你在pad上看论文用的什么软件？

[@laoshi_tec]

Notability，之前《芯片工程师的一天》那期视频有提到，可以去看下

[@TheNotoriousPhD]

老石也用notion 吗？

[@trainlee56]

是 芯片工程師的一天那部有提到

[@rulee9543]

非常硬核! 已經到b站投兩個幣了!

[@laoshi_tec]

谢谢您！

[@cchen711]

Betz 的“directed move" 早在多年前就發表過，nothing new. 到現在還在搞SA，早已過時，再怎麼加速也沒用。 "Xx" 老早就已經換成ASIC的QP算法,改用數學解，不必白花力氣去研究這些過時的東西。

[@chuntingli6559]

請問一下有論文2的鏈接嗎？

[@dinyukong3983]

Thanks!

[@goodluckgoodluck9988]

a100应该是最强芯片了吧

[@gao124]

大哥，您看个产品评测广告的文章还要拿着iPad做笔记，这也太认真了吧。😓

[@SichuanCuisineMuseum6474]

请问寒武纪的芯片水平如何

[@laoshi_tec]

很好的

[@yarralink6138]

可惜之前和华为合作时被华为抄袭了不少然后一脚踢开。希望吃一堑长一智吧

[@shaoshanliu4955]

nice video

[@wuxi8773]

Optimum placement is known NP problem, unless there's theory to prove P==NP, there won't be fast algorithm exist, not even with quantum computer, and it doesn't look like in my life time there will be any good solution.

[@fanshenqchan3002]

很科普但是我比较好奇Intel的可信度。Intel已经不是第一次把自己吹上天了。反手给了一个赞

[@laoshi_tec]

谢谢支持，这个是同行评审论文，我相信是有一定学术价值在的

[@thexiu]

FPGA編譯時間過長真的是講到點子上了

[@william2chao]

中国有你 真好。加油。

[@onefree2751]

请问up主会担心有一天人工智能会消灭人类吗

[@laoshi_tec]

我从来都不担心自己无法控制的事情😎

[@jerrytao1026]

@@laoshi_tec 有关人工智能的发展会对人类产生威胁的说法来自霍金，老石对此有何看法？

[@snake3276120]

这个Vaughan是啥时候来多大的😂 我多大电子工程毕业的表示没听过他，估计是我学渣+暴露年龄

[@laoshi_tec]

不会吧，至少在多大十年了

[@snake3276120]

@@laoshi_tec 我毕业也差不多10年了🤣

[@johnwick10101]

这种太硬核的，看的人少啊，不过还是要加油

[@laoshi_tec]

谢谢，KZbin说比以往的视频看的人更多lol

[@Geekrr]

完全听不懂，哈哈哈哈

[@lang3154]

和你一樣，我水平太低了

[@juhjuhx123]

我個文科生進來幹嘛…

[@Grr191g]

肯定是山东人

[@bobo0612]

diyi

[@sylau9581]

經已超‘過一年的、應下纲

[@allanrui754]

然而软件stack不好用还是没人用😂

[@xeon1360]

这年头搞数据中心ai芯片产品，性能不超过n厂头牌gpu几十倍，都不好意思去忽悠投资人。然而就算超过几十倍，也没见几家真的拿到市场份额

[@Millayoyo]

聽無..

[@changszuchin856]

學過。pseudo. Likelihood. 嗎。FPGA. 核心就是沿者最低Hamming. Distance. 重新安排算核路徑

[@lottl7274]

别说了 我还是站gpu

[@xinranli3663]

ML取代人工设计芯片还有多远？不会学出来就下岗了吧😂

[@yuan.pingchen3056]

好像說了很多，但實際上什麼都沒說