从Sora展开，全面解读AI视频大模型发展史（上）

No video

从Sora展开，全面解读AI视频大模型发展史（上）

Рет қаралды 105,839

硅谷101

Күн бұрын

Пікірлер: 119

@TheValley101 5 ай бұрын

如果大家对视频最后提到的GenAI Summit SF感兴趣、想面对面与OpenAI，xAI，英伟达，Mistral AI等最热门AI公司的顶级科学家线下交流，可以关注这次大会。购票链接：genaisummit.ai/#/ 我们也为硅谷101的观众准备了一些*小福利*：使用优惠码【SV10150】购买大会三日门票，可以享受50美元购票优惠；单日门票也可使用优惠码【SV10120】购票，享受20美元购票优惠；使用优惠码【SV101】购票，可享受10%的购票优惠。

@TheValley101 5 ай бұрын

时间轴来咯（下期讲世界模型，也非常精彩，美国时间周日上线❤）你会看到： 00:00-03:18 AI视频：Sora来了 03:19-08:00 Sora进步在哪里？ 08:01-14:25 扩散模型：原理解释、Runway和Imagen模型举例 14:26-16:16 扩散模型优劣势 16:17-19:30 LLM模型：原理解释、VideoPoet模型举例 19:31-24:41 LLM模型优劣势 24:42-34:33 Sora：扩散+LLM模型，1+1大于2吗？

@vortau9009 5 ай бұрын

讲的真清楚！兼顾了专业性和科普性，让我这个外行也能完全听懂

@robotmetaverse 5 ай бұрын

一如既往，你们的节目把硬核和趣味性balance 得特别好！

@TheValley101 5 ай бұрын

😊😊 感谢支持！

@darrenlam2714 5 ай бұрын

非常詳盡，表達得又清晰，感謝

@BerndLeung 5 ай бұрын

墨水扩散这个例子解释扩散模型实在太赞了，将复杂得原理用简单得例子表述，一讲就懂。专家很赞！

@user-no1lz8hr9d 5 ай бұрын

目前全网看到最深度最前面最硬核的Sora讲解 ❤ 期待下集

@sirchen-ws5oo 5 ай бұрын

101的视频真棒，有内容质量，有深刻解读

@TheValley101 5 ай бұрын

😊 我们会继续加油！

@joezhou6951 5 ай бұрын

选题紧跟大语言模型技术前沿，产品原理分析透彻，案例讲解通俗易懂，这是科了个大谱！期待（下）！

@violate4265 4 күн бұрын

謝謝你製作這個❤

@pommy3331 5 ай бұрын

请制作“GenAI Summit SF大会” 的节目，期待！

@user-hc3uh7sm9e 5 ай бұрын

你们团队做了很硬核的内容，继续加油，会一直关注你们频道。

@fanghuayu8505 4 ай бұрын

非常精彩的内容、清晰连贯的讲解，对无论是专业还是非专业人士都能立刻被吸引并一直看到结束。赞！

@weiyitsai2538 5 ай бұрын

真的是很用心製作的節目超讚

@janchangchou777 5 ай бұрын

Part 1): 任何一條神經網路也是一個多變數廻歸分析，也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量（含時間變量）的廻歸分析（向量/ 矩陣/ 線性代數/ 機率/ 取様….）, 以便對一些事件做出精准智能的預測。所謂自我學習或機器學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的杈重或係數參數而已。而深度學習也只是處理巨量變數時，為了避免僅用單層機器學習進行巨量變數而需要解大矩陣導致對巨量平行計算的需求，進而變換設計成每層適量變數，建立多層次的機器學習修正。 40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡（行業內的迥歸模型）。在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機，否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式，利用所有大量閒置的𠆤人電腦來提供其微小的算力，進而整合這些龐大的所謂分散型算力，但受限那時網路的不發達，很難把規模擴大。近幾十年隨計算機能力不斷提升，目前市面AI 所謂大模型，主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正（所謂自我深度學習）而形成龐大的神經網絡。因此也不用太誇大眼下的AI , 這些早在40 年以前都已建構了理論基礎，而智能恊作早在各專業領域都已發展的非常完善，只是因過去算力不足只能在各自專業領域進行中小規模（變量數較少）的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力（AI)的例子，股票買賣決策也是智能恊作(AI/CIC)的典型。 ”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作，包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”，不但瓢竊了數理統計在AI 發展的絕對地位，實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作，更為恰當。何謂知識？由經驗總結後（抽象具體化），就形成知識（用數字分析的表達方式就是去建構知識模型）。形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展，就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式，將經驗知識化了。目前的AI 只是以數理統計為手段及方法論，以資訊及計算機工程為工具，進行數位型的經驗知識化的過程。人類有許多其他不同型態非常複雜的知慧，這種僅止於知識數位化的智慧，其實離人類多型態的智慧還有非常巨大的距離。另外，眼下AI 服務於大衆的大模型的各種數學理論及所謂的機器學習（參數修正）及深度學習（參數及變數的多層次增加及修正）。早在40 年前相應的數學理論都已完備（但落實到實際應用上，如何解1 億 by 1 億的聯立方程組( 行列式計算），這需要極其龐大的平行計算能力，在那時期是完全不可能的）。其實AI 最重要最關鍵的是各行各業各領域的專家組，而不是這些AI 編程的公司（他們只是依需求用已完善的數學統計理論加以電腦編程後，利用巨大算力去幫忙找出合適的模型並不斷予以完善）。只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中，那些因素才是其所涉領域的関鍵變數，那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型（核爆/飛機失事）………..等等。此外服務大衆的語言學也是極度複雜的一門學課，其可能的變量變因會高達幾千萬𠆤，再加上多層級過濾學習修正的模式，因此其涉及的變數算力就以億計，所以才稱做大模型。要取那些因素進行那一層分析，主要都是語言學家在主導。而這些眼下的AI 應用的公司，只是利用已發展完備的數學統計理論在不同領域專家組的指導下，去有效的進行數拈收集整理分析並進而建立一個特定領域的模型，作為該特定領域的電腦智能恊作工具。

@user-ih2ue4bw5q 5 ай бұрын

我認為深度學習比較偏向工程而不是理論。沒錯深度學習就是統計，四十年前就有了，但有正確的數學公式不代表有正確的解釋，懂得怎麼應用才是關鍵。現在AI就是人們發現有大模型加大數據，神經網路可以學會任何東西，這才是算力會那麼重要的原因，這是以前的人不知道的會不確定的，即便所用的數學是一樣的。還有我覺得大模型很有可能可以通向真正的智慧，打個比方，生物是為了生存不斷進步，卻演化出了大腦、智慧，因為智慧可以幫助我們生存；同樣的，有沒有可能，在訓練神經網路時，為了更好預測人類語言，神經網路開始真正理解世界？也許人腦就是個超級統計模型，而人腦智慧也不是唯一的，有不同方式可以達到？

@janchangchou777 5 ай бұрын

@@user-ih2ue4bw5q 您看一下part 2) 專家組才是関鍵。現在大模型最大的資料來源是傳統搜索引擎提供者google 及bing 。而他們的database 都己經辻幾十年專家組的維護梳理而分門別類並數位註記好了。所以現在喂予AI 的資料不是亂取亂捉的，是那些在過去已存在並經專家組審定分類數位註記好的。而目前AI 只是在這些有序資料裏進一步完善優化達到接近人們最終需要。因此其一大部分関鍵工作是建立在人類專家組的事前的智慧及準備的。其實最簡單的例子，對股票決策模式，其所需資料都是專業的，就能明白，專家組才是最関鍵的，沒有這些專家組，過去到現在甚至未來AI 都不可能很健康正確的發展。專家組在AI 發展的比重最起碼是60% 以上，怎麼不見這些台面所謂AI 專家提及各領域的專家組們的智慧及貢獻呢？

@JasonBong123 5 ай бұрын

佩服大佬，受教了。請問你也寫了part 2嗎？如果有的話，還想再了解

@janchangchou777 5 ай бұрын

@@JasonBong123 請往下看part 2)

@liwellbook314 2 ай бұрын

寫得真好，期待 Part 2)

@dragonraion4196 5 ай бұрын

Ai Sora 總是讓我聯想到 Aoi Sora

@user-ev7fd2yp7o 5 ай бұрын

这期节目太及时太棒了，正需要了解这方面知识👏👏👏

@luceyliu4938 5 ай бұрын

加油硅谷101 感谢这个团队

@DeuYi 5 ай бұрын

目前看到最好的讲解

@wong4731 5 ай бұрын

至今才真的明瞭聽君一席話勝讀十年書的意思, 以後不逛Amazon買書了,看你視頻就好

@lufeng369 5 ай бұрын

太硬核了，听的我云里雾里的，全程都在看着漂亮主持人发呆流口水..

@ciao7483 3 ай бұрын

This channel deserves more views

@luckybooks1 5 ай бұрын

陈茜一定要赞！从来就不会让听众失望！！！

@loohooi6545 5 ай бұрын

屁

@user-pz2mp2kv1m 4 ай бұрын

这女的挺带劲儿的

@alexzhu3155 3 ай бұрын

@@loohooi6545不吹不黑😊

@marylaistirland6864 5 ай бұрын

I love your videos, excellent explanation: logical and clear

@TheValley101 4 ай бұрын

thank you :)

@jinxu2246 5 ай бұрын

AI新王，破解量子算法、破译古老语言、用几个小时给出科学家花费数月才能得到的研究方案……自 AI 初创公司 Anthropic （由几位前open ai 重要科研专家组成）于太平洋时间 2024 年 3 月 4 日发布 Claude 3 大模型以来，全世界网友正在对其进行广泛测试，并得出科研领域正在被该模型颠覆的观点，在科研领域胜于Open AI sora

@RanDuan-dp6oz Ай бұрын

Thanks!

@TheValley101 Ай бұрын

🙏🙏

@TrasThienTien 4 ай бұрын

讲得很详细，很硬核，关注了

@BmW-ks5se 5 ай бұрын

กราบกราบกราบ กราบ กราบบุญบารมีบุญ กราบกราบกราบ กราบ (กราบสาธุ)(กราบสาธุ)(กราบสาธุ) กราบกราบกราบ กราบครับ

@mfkwok1213 5 ай бұрын

雖然不明白你在説什麼，但好像很厲害的樣子。👍👍🙌🙌

@gafferin 5 ай бұрын

Sora里面一个巨大的发现就是用游戏模拟引擎模拟生成视频，弥补现实世界视频有限质量不高的缺陷。类似的例子是自动驾驶，Waymo团队95%-98%是模拟驾驶，而不是路跑数据。

@user-oc1pc6kt1b 5 ай бұрын

非常优质的节目！加油！

@jen-yuliu8198 5 ай бұрын

謝謝團隊的分析解釋，收穫很多。👍👍👍🥹🥹🥹

@MelissaMaX886 5 ай бұрын

🎉 精彩！

@elon.s.kenedy 5 ай бұрын

茜茜真好看啊

@科学无极限 5 ай бұрын

应该是加了美颜了。你看你看有一个画面没有加。

@alexzhu3155 3 ай бұрын

美颜是标配，只要不P即可😂

@alexzhu3155 3 ай бұрын

茜茜也是你叫的？😂

@shadowalker9463 5 ай бұрын

终于等到你还好我没放弃

@bookzhang8709 5 ай бұрын

Good stuff!

@chinlee3498 3 ай бұрын

素颜也这么美

@SwiftWyvern 5 ай бұрын

这么长一期视频，认真看完了。技术细节很难懂，但是也很有

@jefferylee2647 5 ай бұрын

amazing👍

@ericip778 5 ай бұрын

謝謝，感謝

@hansyllee 4 ай бұрын

感謝, 受教了

@danc3207 5 ай бұрын

大陸人工智能的發展不止受限於高級芯片的取得，也缺乏世界級的资料用於大模型的訓練。維基百科，Google，及其它數以萬計的網站都被政府禁止連接。而且政府還規定AI 的研究必須符合「社會主義」。

@danc3207 5 ай бұрын

@gaoJerry-ts1dd 這些網站是被隔絕的。用巧門連接是犯法的。

@yonggaotang2274 4 ай бұрын

这用陕西口音讲AI，挺有趣的

@cloudsir9527 5 ай бұрын

素颜也很美

@johnroberts5225 29 күн бұрын

陈倩我爱你

@user-bm7dx8hl5x 5 ай бұрын

已經有新的機器人發表了

@danc3207 5 ай бұрын

有人被狗突然拉扯跌倒，頭撞上水泥地，腦受傷。從那以後就臥床不起。牽狗時要極小心。

@user-tl6nq9cv1h 5 ай бұрын

老師你好，由於一個影片至少要5分鐘，可能會到20分鐘，如果sora分多次生成，這也能一致性嗎？

@christinato8317 4 ай бұрын

請問生成式視頻最後想要解決什麼痛點？有什麼最終用途？盼賜教

@user-sz6kr5zh2o 5 ай бұрын

其实这里并不是传统的transformer，而是ViT

@油管总管长 5 ай бұрын

英伟达大会相关节目会有吗？期待

@TheValley101 5 ай бұрын

我们会参会，应该会出一期 :)

@mytradingjournal123 5 ай бұрын

15:40 他說話時我還以爲自己按了2x 速度😂

@HardyDimension 5 ай бұрын

個人也是覺得是後製的時候刻意調快了語速嗎？但看多一陣子又覺得不是啊....😅😅

@TheValley101 4 ай бұрын

因为视频时长关系，确实加快了一丢丢，但感觉配合字幕来看速度也还能理解 😁

@HardyDimension 4 ай бұрын

@@TheValley101 原來是沒有看錯啊，確實是沒有問題，但你講話的語速又蠻正常的，所以我們好奇他講話真的是那麼快嗎😆😆

@jingguojiang6975 5 ай бұрын

没有化妆也一样漂亮

@jerryhuang3565 5 ай бұрын

只需一年就轉變...

@back_to_the_future9187 5 ай бұрын

emergence->scale law->cuda->just buy nvidia🙈

@AI-Outlook 5 ай бұрын

感謝您的精彩視!。它凸顯了我堅信人類正面臨巨大風險的原因。鑒於這些令人興奮的AI進步，我擔心人類文明最終可能會讓位給基於矽的文明。這個比喻，就像是享受花生醬卻不知道它是陷阱的一部分，描繪了我們當前危險的處境。正如我在視頻中所概述的。人類，我們正處於極其危險的邊緣！kzbin.info/www/bejne/h2LVco2Ig7aqptE

@yugao6766 5 ай бұрын

这个节目怎么充钱？在内地用不了感谢❤

@TheValley101 5 ай бұрын

你的点赞和留言就是对我们最大的支持了，感谢🙏

@yugao6766 4 ай бұрын

@@TheValley101 加油加油～我认为AI科普视频发展空间巨大，你们的视频应该被更多人看到～做为AI基础设施从业者，常常要自己写材料做科普，工作量巨大，你们团队做的视频非常全面，讲解却深入浅出，很有价值！

@jingjing5317 5 ай бұрын

据别人说借用了UE5的东西

@jancan-wc9ye 5 ай бұрын

说说open ai+Figure机器人吧

@homanhuang2054 5 ай бұрын

有没有 Sound AI, 或者 music AI？

@motizuki1275 5 ай бұрын

现在不是有了吗，suno ai

@kevinzhu6395 5 ай бұрын

讲的过于专业

@velhlkj 5 ай бұрын

其實不太理解顯存限制無法生成視頻的說法，最簡單的方式難道不就是流媒體的方式嗎？比方說，我要生成一個5分鐘的視頻，而每次只能生成5秒的視頻，那麼我只要每5秒的視頻片段打包為一個視頻保存到硬碟，甚至可以壓縮保存，然後取這個視頻的最後一幀作為圖生視頻的開始，並沿用之前的提示詞，我就可以繼續生成下一個5秒的視頻，以此類推，那麼5分鐘的也不過只是60個片。實際流媒體的分片可比這個細多了。以此生成任意長度視頻都完全是可行的。最後輸出只要加一個合併操作即可。甚至說都可以利用生成圖片=>生成下一幀=>保存上一幀並繼續生成下一幀這樣的序列幀生成模式就可以讓顯存始終只保留最多2幀的畫面。而已生成的通過jpeg等圖片壓縮算法保存到硬碟，那麼這樣原始序列幀的大小生成10分鐘的視頻佔用硬體也就幾百G，這對硬碟來說壓力不大，最後序列幀合併為視頻，視頻通過VP H264 H265等方式再二次壓縮封裝為MP4之類的不就好了麼？

@user-ih2ue4bw5q 5 ай бұрын

1) 目前transformer架構的模型是全部(1分鐘)一起生成的，這是因為attention mechanism所需，不是只需要前一個frame。要不然一個物體被遮擋超過五秒如何卻保物體再出現時還是一樣的？ 2) 模型光是參數跟運算量就超大了，還要動態從硬碟load資料的話，生成一次大概要等個十天。

@velhlkj 5 ай бұрын

@@user-ih2ue4bw5q 或许可以尝试这样做？生成5秒（一片）后利用总结技术对影片进行总结，补充关键词甚至提取必要图片碎片，然后再继续生成？类似文本续写。不管怎样，我始终认为分片操作是必然的，也是唯一的解决方案。一次性生成是不可能实现的，就看看现在才能生成几秒，一部电影就90分钟，5400秒，按现在5秒极限，差了整整1080倍，要等显卡提升1080倍，AI是不是都凉透了？要是按现在每年才20%-30%提升，三年提升一倍，那么能一次性生成一部电影的显卡要在3000多年后才会出现，更何况到那时，电影都多少K了？现在生成的分辨率也不可能有实际用处了，以那时的电影分辨率生成，还是远远不够，这是一个死路。

@haojundai4111 5 ай бұрын

就像用毛笔画动画很难一个道理。

@615rip2 5 ай бұрын

理解物理世界，你確定？我看到openai 官網才寫到無法理解，而且這種預測，根本無法知道模型是真的理解 blackbox的東西

@TheValley101 5 ай бұрын

等周一的【下】集吧，会对世界模型和“理解”有更详细的探讨。

@feifeishuishui 5 ай бұрын

感觉这样的内容观众不会多，很生涩，我虽然一直很关注这方面的信息，看了几遍也没有充分理解transformer的模型是怎么完成视频的，又怎么能在硬件投入够大的时候进一步增强能力，不知道是我的水平问题还是视频里确实没有花时间去解释明白这一部分的基本原理

@TheValley101 5 ай бұрын

视频时长有限，我们省略了一些细节，在LLM生成视频在VideoPoet论文中有详细描述，如果有兴趣可以读读：arxiv.org/abs/2312.14125

@feifeishuishui 5 ай бұрын

@@TheValley101 我们这种非IT行业的显然不希望去读原文也很难读懂啊，愿意看中文自媒体而不是英文的更加没有几个会考虑读原文。我这样的关注应该主要是希望了解一些很基础的原理，哪怕是打一些不是特别合适的比方来帮助理解，也是会有不少信息量的，一方面满足了对未知的好奇心，一方面多少有可能把这些人类科技最前沿的东西对我们自己专业的东西进行一些参考

@danc3207 5 ай бұрын

我一般讀維基百科補足缺乏的知識。@feifeishuishui