【人工智能】Google大神Jeff Dean最新演讲 | 机器学习令人兴奋的趋势 | 计算的十年飞跃 | 神经网络 | 语言模型十五年发展 | Gemini | ImageNet | AlexNet

谷歌首席科学家 Jeff Dean 于 2 月 13 日在美国莱斯大学进行了一场 1 小时 12 分钟的公开演讲，突出展示人工智能和机器学习领域中几个令人振奋的趋势，并介绍了谷歌在人工智能时代的过去、现在与未来所做的工作，还概述了大家都很感兴趣的 Gemini 系列多模态模型。
原视频链接： • Jeff Dean (Google): Ex...
#人工智能 #jeffdean #google #machinelearning #gemini #neuralnetworks

[@fan5188]

Jeff Dean 无疑是一个传奇般的牛人。但通过Jeff在介绍Gemini时的态度，就可以知道Gemini肯定比不过GPT。他似乎对Gemini的要求不够严格😂 另外，我始终觉得chain of thought 是 treating。只是用另一种方式来给模型引入人类认知而已。这似乎背离了Sutton老爷子the bitter lesson的原则。

[@hklcrissun]

謝謝大飛一直更新高質內容！！

[@newsid513231]

感謝分享高質量內容

[@nvb21]

A very good summary on the topic. Thanks.

[@janchangchou777]

另外所謂AI的算力，也多被這些台面上資訊及硬體公司給神話了，整𠆤AI 主要算力在解大矩陣行列式。 也就是同時或儘量同時計算（平行計算） y 千萬組的 y千萬𠆤數的連乘積。 極其簡單（小學算術程度）但體量龐大的加減乘除。 無任何高深複雜的計算。

[@awesomegmg956]

作为亲历者，Transformer至少在刚出现的时候乃至于直到2019年，在机器翻译上也没有超过LSTM。但是因为不用Unrolling，训练速度快得多，模型参数和训练数据可以成倍增加，结构就是在大模型下，LSTM根本没法训练。

[@solnone]

感謝分享

[@user-zb7ex4ue3y]

知識了解

[@alei1588]

Problem of over fitting 🎉🎉🎉

[@nerochu-luntai6205]

老兄你是谁? 牛呀!

[@hayama2363]

能听出音乐 听出语气不同，听出各种动物的语言吗

[@feifeishuishui]

只要有大量高质量标注好的数据，这些东西都识别对于现在的AIGC是小菜一碟

[@catchfishattexas]

应该不难。

[@jackwang1234]

这方面应该比人类还神

[@user-dg8ow5nh8c]

大力出奇迹

[@oo-re6wo]

音乐和语气，chatGPT是能听懂，而且还能说。 动物的语言理论上是可以学习的。

[@user-xd4mc1zx6n]

炒股票？重點是商品吧？

[@user-ow1sq9dq2o]

不用说家务通用机器人，就说人形工厂机器人什么时候能量产啊，光是电池续航就是个难题，还能用2-4个小时充电8小时吗，还有各种输入输出的命令的问题，懂的老铁具体说说，就说人形工厂机器人什么时候能真正量产啊？是营销还是噱头啊？了解的人具体说说，可以吗？

[@chuckstarwar7890]

讲讲Al就＂大神＂了？？ 这位就是明白一些A I而已

[@user-ln4zs2jt8w]

戾氣不要這麼重好嗎？你家是死人嗎？

[@c3-qk4mvq6xp37r]

騙局越玩越大的垃圾，混工錢罷了，統計 數據 得出 智能，這不是扯談嘛。

[@janchangchou777]

任何一條神經網路也是一個多變數廻歸分析，也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量（含時間變量）的廻歸分析（向量/ 矩陣/ 線性代數/ 機率/ 取様….）。以便對一些事件做出精准智能的預測。所謂自我學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的參數而已。40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡（行業內的迥歸模型）。在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機，否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式，利用所有大量閒置的𠆤人電腦來提供其微小的算力，進而整合這些龐大的所謂分散型算力，但受限那時網路的不發達，很難把規模擴大。 近幾十年隨計算機能力不斷提升，目前市面AI 所謂大模型，主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正（所謂自我深度學習）而形成龐大的神經網絡。因此也不用太誇大眼下的AI , 這些理論早在40 年以前都已建構了理論基礎，而智能恊作早在各專業領域都已發展的非常完善，只是因過去算力不足只能在各自專業領域進行中小規模（變量數較少）的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力（AI)的例子，股票買賣決策也是智能恊作(AI/CIC)的典型。”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作，包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”，不但瓢竊了數理統計在AI 發展的絕對地位，實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作， 更為恰當。 何謂知識？ 由經驗總結後（ 抽象具體化） ，就形成知識（用數字分析的表達方式就是去建構知識模型）。 形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展，就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式，將經驗知識化了。 目前的AI 只是以數理統計為手段及方法論，以資訊及計算計工程為工具，進行數位型的經驗知識化的過程。人類有許多其他不同型態非常複雜的知慧，這種僅止於知識化的智慧， 其實離人類多型態的智慧還有非常巨大的距離。 另外， 眼下AI 服務非專業大衆的大模型的各種數學理論及所謂的機器學習（參數修正）及深度學習（參數及變數的多層次增加及修正）。 早在40 年前相應的數學理論都已完備（但落實到實際應用上，如何解1 億 by 1 億的聯立方程組( 行列式計算）， 這需要極其龐大的平行計算能力，在那時期是完全不可能的） 。 其實AI 最重要最關鍵的是各行各業各領域的專家組，而不是這些AI 搞編程的公司（ 他們只是依需求用已完善的數學統計理論加以電腦編程後，利用巨大算力去幫忙找出合適的模型並不斷予以完善）。 只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中，那些因素才是其所涉領域的関鍵變數，那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型（核爆/飛機失事）………..等等。 此外服務大衆的語言學也是極度複雜的一門學課，其可能的變量變因會高達幾千萬𠆤， 再加上多層級過濾學習修正的模式，因此其涉及的變數算力就以億計， 所以才稱做大模型。 要取那些因素進行那一層分析，主要都是語言學家在主導。 而這些眼下的AI 應用的公司， 只是利用已發展完備的數學統計理論在不同領域專家組的指導下，去有效的進行數拈收集整理分析並進而建立一個特定領域的模型，作為該特定領域的電腦智能恊作工具。 另外面對服務大衆的生成式服務，也是要面對大衆各種不同的需求，因此其所需處理消化的資料也是天文數字的龐大，也要各行各業領域專家介入協助指導進而形成並建立大模型。 其實生成式AI 可以理解成升級版的超級搜索引擎，傳統的搜索引擎，用関鍵字/詞，從數據庫內匹配/找出並羅列出可能所需資訊，現在進步升級到如果你給出更具體規範的需求，系統就能從數據庫內拼湊出並提供更完整的接近最終需求的服務內容。這只是把過往已存在的數據庫（已長年經各行業領域專家組維護並梳理過的）更完善的整理優化後予以呈現。而這𠆤更完善的過程使用了大量多層次的統計數字分析的手段， 把這個完善化的過程誇大的比擬成人類的思考及智慧（其誇大的目的-圈錢），將造成極大的誤導。 其實生成式大模型， 就是用即存服務於大衆的大型搜索的資料庫，如google ， Bing 等等，以數理統計為核心，結合資訊工程及硬體工程為工具，而進行更貼切於使用者需求的優化過程和結果。所以生成式大模型最終會回到過往提供搜索服務的大型公司的對決。 因此CIC 或是AI 是以特定領域專家組為主導，數理統計為核心，資訊工程及硬體工程都是配合的工具而已。 這樣的發展才會健康/ 不浪費/ 高效率/ 高精確度。 但目前的發展方式， 以資訊工程及硬體工程來主導開發服務大衆的大模型，只是因為這方面天文級別的龐大算力需大資本投入，這是一𠆤比較理想的快速盈利回報的營運方式，但這種情況就會造成眼下嚴重的誤導及錯誤的認知，沒有效率及喪失精準度，甚至如當下出現諸多以提供算力及編程服務的所謂AI 公司出面圈錢的亂象。 其實眼下的蓬勃發展是假象。 不管怎麽發展，從事這𠆤領域研究工作的人不能不具備相關數理統計的知識，也不能缺少專家組對資料的專業的選定/收集/整理。而資訊程序員和電腦只是工具。特別在早期各專業領域內的中小模型的智能發展和恊作，編程只是工具。但當算力上來後，服務大眾的類搜索引擎的生成式及語言大模型，就變得可行了， 但不管怎樣可行，仍是以數理統計為核心，更龐大的專家組仍是關鍵。 只是這種大模型下算力變成稀缺的主要投資成本， 使得這些編程及硬體人員不得不高舉這𠆤旗幟來圈錢， 如果這些編程及硬體人員拿不出這些算力（如果由國家直接投資），他們在整個AI(CIC) 的發展上，根本算不上什麼角色。但這一輪由算力提供方來主導的AI 發展，將會走得很偏，而且會很快撞牆。 未來可能的發展模式： 1） 資訊及硬體工程提供集中算力設備及模型編程的開放平台，供各領域的專家組使用。 有點像當下晶片產業，各應用領域產業由專家組組成公司後，進行各領域的智能開發和應用（如晶片應用的design house，聯發科，海思等 ) , 而算力的提供及收費則由資訊及硬體工程提供（這需要密集资本投入，甚至國家力量投入，如台積電）。 2） 由於網路的高度發展， 另外一種提供龐大算力的方式，是由巨量萬家萬戶閒置PC 𠆤人電腦參與分散型算力的提供，並予以整合，這也是需由資訊及硬體工程來實現的。

[@willy123abc]

你活到現在 也是透過現實社會龐大的數據來與你的大腦互動 來訓練你的腦袋 如果你認為統計數據沒辦法得出智慧 那你的大腦可能也只是個扯淡唷 當然你可以質疑這是個騙局 針對你上述的原因 不太能說服別人這是個騙局 你需要提出更強而有力的說明來解釋為什麼這是個騙局

[@balelles]

@@janchangchou777 这是真人回复的？

[@user-zr4pb9bq7q]

@@janchangchou777 你好我是專家組與計算機程式領域，你講的很對，目前AI正在走偏因為太仰賴於高算力與圈錢，聰明反被聰明誤，人工智慧發展急於一時之後都要還的，數學物理化學科技都要人類不斷的發現並且推翻，人工智能仰賴產值與堪用已經偏離了軌道

[@user-zr4pb9bq7q]

⁠@@janchangchou777你說的沒錯，我是專家組與計算機程式領域，數學物理化學生物等都需要人類不斷的研究與推翻，人工智能急於一時為了圈錢與堪用，目前正在走偏之後都要還的

[@c3-qk4mvq6xp37r]

騙局越玩越大的垃圾，混工錢罷了，統計 數據 得出 智能，這不是扯談嘛。