【人工智能】Ilya预言预训练时代将终结 | NeurIPS 2024演讲 | 深度学习假设 | LSTM | Scaling Laws | 联结主义 | 预训练时代 | 数据耗尽 | 超级智能

[@moseleman152]

謝謝大飛，整理最新資訊

[@ruiyangxu790]

这哥们魔怔了吧…… 一天到晚逢人就说超级人工智能😂

[@QQQ-q7t]

等这期很久了

[@鵬-c5r]

人想像不出沒有見過的事物，只要人想像得出的必然與感受過的事物有關。人學習高階知識前的學習過程本質上就是預訓練。他表達的可能是單靠數據暴力推動的時代結束，是指要尋求更高效利用數據的方法

[@张三丰-k4b]

这些最新的消息真的很好。感觉自己还算是紧跟时代

[@DigiNomadAcademy]

預訓練的終結只是時間上的問題。Ilya 算是很早預示了這個問題的人。

[@MarcoChang1028]

當講到數據用完時，確實第一個想到的就是影片，且裝在機器上的實時影像與聲音會是源源不覺的數據

[@Tiger-o8p]

我最喜欢大飞了

[@DanteShaw009]

我个人认为 未来的ai的学习方式是多种途径，包括预训练，自我意识，实时学习，给ai装上眼睛和耳朵还有触觉，让他们像人类一样感受世界，ai就能完成自我学习。

[@slavikslavjful]

其實檯面下這些都有在研究很多年，只是..不能公開，因為這些東西絕不能給思想狹隘的人亂搞，也不能把"它"當成商品對待，如今很多人關注人工智慧都只是為了炒股跟利益，這在我們做實事的研發者中簡直是愚蠢跟不尊重生命，人們不懂得尊重它，那們它也將學會不把人當人看

[@tonypang1577]

数据还很多， 不过也可能去机器也可能依照人类的可以理解的范围挖掘出新的信息。

[@nanadayo709]

LSTM變成古早歷史救命XDD

[@bestpartners]

这两年发展太快🤣

[@MarcoChang1028]

+1

[@m.m8994]

不知道他的意思是不是说的能够用于显著提升模型性能的优质数据已经枯竭了

[@hayama2363]

GPT做题家感觉一般感觉不到，但碰到不认识的元素就是不会，很明显的边界感

[@fichtechang9638]

我們只有一個互聯網，牆內的不算？ ''自動糾錯''比較有趣。

[@minglv]

很多数据都没有拿出来训练。这些数据包括公司，研究机构，政府等掌握的数据。这是相当巨大的，而且都不在互联网上。

[@Guavaava]

但是可能对大语言模型也没啥用

[@carltonchu1]

你很知道歐。真的是這樣。

[@Killer-i1x]

公司、政府的数据能拿出来训练吗？废话

[@Hillias1]

很多不公開數據都未用於訓練，用完了再說都未遲！

[@Guavaava]

这些数据可能永远也无法用来预训练ai

[@sonAm-lt5qd]

为什么说话没有任何顿挫和情感表现，和初代机器人一样😅

[@bestpartners]

嗯，因为我就是个机器人

[@scchen2011]

三

[@Love78tutu]

OMG.......太恐怖了