「端到端」真是自动驾驶的终局吗？小心别被特斯拉带跑偏！

Рет қаралды 23,578

Күн бұрын

Пікірлер: 149

@alexsun3524 2 ай бұрын

哥们儿听了你好几年你现在基本上为了利益废了就比如说你最后一句话说的端到端作为备份那主导系统是什么？黑盒模型决策机制你我大脑不能理解就是风险？那爱因斯坦大脑你也不能理解，是不是也是你的风险？只要无需干扰里程持续上升，达到临界值即可，你我理不理解重要吗？你就说你背后的厂商是谁吧，谁给你钱带节奏的

@getstevenliu 2 ай бұрын

你确定我背后有厂商？你为这句话负责吗？

@KenNY_mo 2 ай бұрын

有點過度解讀了，不過主播用的標題也有點問題

@ryanchen5655 2 ай бұрын

這影片很客觀，我在相關行業當工程師的，端到端本來就有風險，未知就是風險

@morgenliao4987 2 ай бұрын

有知识拿知识出来。不要讲无关的话题。你觉得别人说的不对，你自己开一期节目我们来看看。

@christrao 2 ай бұрын

风险存在于一切方案，up主不过是把端到端的风险单独拎出来说而已，毕竟最近火爆

@hysioshu 2 ай бұрын

解读还是有几个错误 1. 自动驾驶的端到端与 LLM 没有关系，最近这两年LLM 概念很火，以至于很多人都认为，LLM 是下一代AI技术方向的潮流与趋势，这个是不对的。大模型先天上就不适合在设备端执行这种图像为输入的业务，TESLA 目前的模型技术架构，其实是完全低估一个走向 AGI 重要方向 2. 端到端并不是 nature 的，在自动驾驶任务上，实现端到端是超级难的，某种程度上要把，三种完全不同领域的模型整合成，一个数据流的统一模型，没有做过工程的人不会知道这有多难。即使现在的LLM或多模态，其实都是单一领域，或二个领域而以。 3. 自动驾驶的技术的发展会如何，我们不知道，但是再用手写规则兜底，这种想法的是天真的，因为实际上并不存在一个写出公式的条件，因为多样的信息的统合本来就没有一个标准，如果强行的降低信息纬度就会损失信息，或者只是在局部写一个偏执的规则而以，那么实际上他根本就没有办法为所有情况兜底。 TESLA 并不代表自动驾驶的未来唯一方向，但它们目前来说是最领先的一家公司，目前来说比任何一个第二名，起码要领先 5 - 10 年

@francisfu5346 2 ай бұрын

大刘你好！我在想，让FSD单纯去看开车视频去训练，会不会忽略了一个事实，那就是人类老司机开车能力不仅仅是通过开车的视觉本身获得的，甚至包括了对于世界的其他方面的理解能力. 比如说在一个充满了红灯的街区，人类能够一眼看出来什么是红绿灯什么是霓虹灯，然而fsd靠投喂视频训练就很大的风险识别出错？再有一点，人类认识这个世界上的除去路面以外的任何物体，而真实世界并不是所有物体都会出现在路面视频中. 现阶段GPT4o等大模型对于真实世界的识别率也在显著提升. 如果说摄像头通过类GPT的模型识别出路上有一个缺失双腿的半截人在用手行动，而FSD的模型中因为缺少这样的视频训练，无法识别而出现错误，这样的例子，会不会导致例如马斯克的Grok会跟FSD深度融合来做出决策？可是这样一来，是不是就不是端到端了，会不会更加复杂？我只是作为一个特斯拉粉丝的粗略见解

@homerc3513 2 ай бұрын

大劉是對的。數據算力訓練能力缺一不可。純ai的自駕也可以很多垃圾，回退，甚至是無厘頭莫名奇妙的決策。

@paulzhu7694 2 ай бұрын

有数据对比的，特斯拉无接管距离目前是300多英里（马斯克说最新的12.5可以翻2~3倍，等测试数据看看），waymo是高精地图+激光雷达+端到端，无接管距离可以到70000英里，和非高精地图的不在一个数量级上。目前看端到端的下限不容易解决，上限就是驾驶体验无限接近人类，和规则驾驶呆逼体验要好很多

@Wai898 2 ай бұрын

感覺沒什麼可比性畢竟特斯拉是全美國在跑

@wwssswqw4p 2 ай бұрын

特斯拉正是下限提升很快，上限進展困難

@wellpsymiki 2 ай бұрын

拜託，不要接近人類好嗎😢

@paulzhu7694 2 ай бұрын

@@Wai898 是啊，高精地图毕竟只能在特定区域内跑，但是人家事故厂家全责啊

@paipaiwei9602 2 ай бұрын

@@wwssswqw4p你其实说反了

@垂涎三尺有神明 2 ай бұрын

覺得兩種做法用LOL來解釋的話大概就是一個是靠大量對戰直接收集對戰經驗，一個是做場景解釋密集訓練，前者花時間但上限高版本適應快、後者可系統化追很快但版本適應差角色池受限其他廠商要追特斯拉確實不能用一樣的方法，畢竟數據、算力都不在一個檔次，就別談一樣的軟硬體特斯拉可以做到的事更多，除非有自駕以外的使用用途，不然弄了一套一樣的設備系統也是等著虧錢而已。

@kobe1179 2 ай бұрын

說得好，特斯拉這套訓練方式+算力投資下去除了FSD還可橫向用於Optimus訓練，成本因此就大幅降低，哪家廠商有這樣的遠見

@diaotaida 2 ай бұрын

end2end这个词在20年就出现在很多模型的paper上，23年开始出了一大批end2end的自动驾驶模型/算法的paper。目前公认的端到端就是从input到output的过程中所有的rule-based regulation or interpretation 要么没有，要么为完全的bijective function。

@Asd66ri 2 ай бұрын

大劉的講解真的是最有料的，謝謝大劉

@getstevenliu 2 ай бұрын

谢谢，还得精进。

@yongjason-pf9kz 2 ай бұрын

我感觉你的观点发生了变化，以前你的观点基本是只有fsd才是智驾的未来。我的理解是: 1、端到端智驾大致有两种。一种是 “视觉或激光的探测信息”～给到“黑盒ai神经网络平台”～给出执行策略。（这种是端到端智驾的终极目标）。另一种是“视觉或激光探测信息”～“给到黑盒si神经网络平台”～“再和规则平台交互一下（这个平台不是强规则，可能只是一些禁令或者重要规则）”～给出执行策略。华为是第二种。特斯拉没公布是哪种。但我个人认为一定也是第二种。因为第一种是终极目标，如果神经网络平台非常非常成熟，没问题。但只要不够成熟，虽然它的“上限”很牛逼，但“下限”也非常低，也就是一旦出一点儿错，会给出超乎想象的灾难。汽车厂没人敢承担这个后果。所以都会用第二种方案设置一些“禁令、规则”之类的做些限制和指引。 2、我预测，fsd进入中国时，一定会加上激光雷达。也就是和华为的方案一样。因为中国路况比美国复杂太多（激光雷达现在非常便宜了，马斯克最近采购了一大批激光雷达）。 3、加激光雷达，是为了解决纯视觉的下限问题。纯视觉，驾驶平顺度可能会更好，但下限太低，会存在探测不准的问题。汽车厂如果要商用，甚至要达到出事故由智驾负责，那他必须提高下限，否则是作死。尤其中国复杂路况。因此我绝对支持华为的纯视觉+激光雷达方案（这几天美国西雅图特斯拉撞死摩托车手，据说是纯视觉的fsd根本没识别出来摩托车手） 4、我认为目前只有华为和特斯拉是遥遥领先的第一梯队。我也期待fsd尽快进来，只有高手竞争，才会更进步，让我们用户更幸福。

@xorpop 2 ай бұрын

很多人都理解錯了，馬斯克是說當面交易是交易最方便的形式，那可不是最省錢的方式

@acidfish0403 2 ай бұрын

我個人看法AGI不存在終局的情況，只有無限接近適應所有不同情境的能力，人類自己都無法對任何可能發生的情況都做出最好的反應代表人類根本沒見識過也無法理解真正能對所有情境做出最合適反應的AGI是什麼樣的光景，所以能廣泛服務人類的AGI一定要達到我們自己想像那樣完美的情境才能廣泛使用嗎?我認為安全性已經遠高於人類數倍時就是一套能廣泛使用的AI系統，持續更大規模的使用才能讓系統更完善，想像終局認為必須符合我們想像完美的狀態才能使用那我們永遠走不出尋找AGI成功解釋的困局

@叶之秋-v9g 2 ай бұрын

应该本身就是数学上的函数，随着数据的积累，不断改进自己的决策。在这个基础上，根据每次感知的情况做决策。但是，它感知的情况跟人类感知的情况，概念上是不一样的。就是人类本身，不同的人对同样或者类似的情况，开车时的处理也是不一样的。并且可能都是合理的，就是没出事。所以模型的决策也会出现不一致，有时会出人意表。至于是不是会出事，不好说。概率大小吧。

@oid578 17 күн бұрын

手写规则上限低发展不起来，端到端能做到比人开安全性高就行了，人家特斯拉也不是傻子换方式肯定端到端对比手写规则优势很大

@kpop8276 2 ай бұрын

端到端，只要你有大量的優質駕駛視頻餵給越快越好超算系統，讓超算不停的試錯模擬人類的駕駛方式，投入的資源夠多就能大幅壓縮學習過程。鑒於電腦有多方位多個攝像頭，不會疲勞運算速度快等優點，實際駕駛安全性會遠遠超過人類

@yongjason-pf9kz 2 ай бұрын

聊聊华为ads3.0和西雅图fsd撞死摩托车手的事儿呗，据说纯视觉的fsd完全没识别出来摩托车手。想听听你的解读。谢谢

@总裁陛下 2 ай бұрын

可以看下蔚来的大世界模型，预测未来，好像比端到端更先进

@heydude5087 2 ай бұрын

赞同目前说哪种是最优方案还为时尚早最终可能就是fsd+雷达的复合方案才是最佳解

@dscos1979 2 ай бұрын

直接說中國廠商全部在抄特斯拉就可以了，前不久還說雷達遙遙領先，看到特斯拉做就知道實際多落後，於是趕快改廣告詞叫端到端

@shangmo9683 2 ай бұрын

大聪明

@Vision_Future.2024 2 ай бұрын

特斯拉当前还是多模态，城市，高速，停车，召唤，应该四个大模型，当前12.5想去把高速整合到城市大模型中。

@許明陽 2 ай бұрын

端到端，是從AI某條技術路線"AI神經網絡"專有名詞，形容感應器到終端決策抽象過程，模仿大腦神經運作。三十年前是學術笑話，現在是工業神話。目前大模型主要改良就是中間神經節點運算規則(TPU，GPU，等都是)，出現許多工業方案，因為這技術路徑"最簡單"，只要堆硬件，餵資料，就可以得出""近似結果""，但缺點有""幻覺""。因為沒人可以搞清1億參數背後原理規則，何況百億參數，才有人提出"再推更多硬件"或"建立自檢反思機制"等等，意圖實現GPT5以上AI智能。。。但。。。堆硬件要錢呀!!!

@paipaiwei9602 2 ай бұрын

@@許明陽你把生成式和这个搞混了还有一点视觉确实是后续最重要的端到端才能和人一样脱离地图行走也不出问题马斯克目的是为以后火星机器人上使用眼界根本不是你这种

@kobedirk 2 ай бұрын

硬體拉硬件三小

@namei8967 2 ай бұрын

如果这个系统内部有两个串联的模块就不叫端到端。请问特斯拉是否透露fsd 12.5 内部有两个模块？

@777Steven_stocks 2 ай бұрын

特斯拉的难道不是感知决策操作整体是端到端吗？

@tigerreich7106 2 ай бұрын

第一性原理，人眼能看到情景就会开车，那么fsd只用摄像头。但是人不需要投喂大量视频来学习怎么开车就会。拿到驾照后可以开车的人很多。每个人不可能看海量视频。所以从第一性原理来说反而端到端不是符合第一性原理。

@xinyizhu8441 2 ай бұрын

人只要醒着眼睛睁着就不间断的在看这个世界的景象这些能不能算是喂给大脑的海量“视频” ？

@tigerreich7106 2 ай бұрын

@@xinyizhu8441 端到端喂给ai的都是人开车的视频。而且是好习惯的车主的视频。人睁着眼睛看天花板看电视按说这些对自动驾驶是没有直接用处的吧。我觉得。

@weilu6794 2 ай бұрын

不懂為何大家都要讓ＡＩ去分析各種情況下各種決策？根本上不是應該去規範路上的人不要出現這麼多意外情況從而去實現自動駕駛呢譬如說從建設上去實現人車分道甚至是車道無人化

@jshw-zx9sm 2 ай бұрын

特斯拉12.5辅驾系统，对国内城市高架路段的混交匝道，市区道路单向单行车道路线，完全就是技术性卡死。

@alexyoung6418 2 ай бұрын

端到端这玩意不知能不能反哺去优化传统控制系统。我看Figure 01机器人展示的动作非常丝滑，对运动控制有了解的人应该知道高刚度的关节执行器要想像人类那样运动是很难的。驱动器最擅长的就是精准的位置控制，而人类肢体是在位置模式与力量模式之间频繁切换的。为了改善关节的运动性能，人们给关节装上了高分辨率的电流传感器、力矩传感器甚至多自由度的力传感器，有些在手指末端装了压力传感器。然后又花费大量时间为每个关节优化控制算法。从end effector测量到的数据要经过运动学的求解，分别影响到各个关节的运动。总之非常复杂。但端到端一出手，所有这些传感器的数据被统一的反馈给算法，然后AI就……直接给所有关节驱动器发指令了？如果这打碎了传统的控制框图，又以更加高效智能的方式自组织出一套控制规律，我想很多人都迫不及待想看看这黑盒里面是什么。

@nfszero 2 ай бұрын

同意，那絲滑程度是機器人工程師的夢想，而且教導起來還不費勁(相比傳統教導方式)。期待能無縫整合一堆傳感器的時代到來。

@alexyoung6418 2 ай бұрын

@@nfszero 如果可解释性实在太难，我还有个就坡下驴的想法：如果Figure 01所用的驱动器还是更接近传统架构，那么下一代驱动器可能在硬件层面上就可以为端到端训练而优化了。因为传统架构大多还都是电流环、速环、位置环那种PID的规划，电流值、编码器值的反馈是优先确保本地控制器享有最高刷新率、最低延迟的。真想让AI拥有空前的运动感知，干脆把这些传感器的链路全并到一个高带宽总线上，用高帧率直接刷给AI主机得了，see where it leads us😂

@黃帝-v6t 2 ай бұрын

行外人說法…👈 沒有人速遞是點到點👌

@nfszero 2 ай бұрын

@@alexyoung6418 我想法也是這樣。隨著AI能同時處理的資料量變大、他可以同時處理各種感知訊號並直接融合成輸出命令。例如用多顆便宜鏡頭影像，就能控制沒那麼好的機器人硬體，讓成本大大下降。

@alexyoung6418 2 ай бұрын

@@nfszero 对对对，不过training阶段如此大量的数据照单全收对于算力的需求是相当恐怖的，但如果真能搞定，我就好奇到了推理环节的时候，AI对这么多维度反馈信息的输入是否会形成类似人类sensory fusion这样的筛选机制。这玩意真挺有意思的。

@Vision_Future.2024 2 ай бұрын

讲大思路，不讲具体执行，基本就是耍流氓，赚眼球，没营养！

@Aaron-wk8ls 2 ай бұрын

能讲具体执行的话，哪用得着来赚这点广告费，大堆顶尖公司等他来操控

@getstevenliu 2 ай бұрын

有道理。

@liuarcoon9829 14 күн бұрын

老马过于自信了，就目前人类对AI的掌控能力来说纯粹的端对端绝对不可能比有预定义规则兜底的方案来得安全，因为规则下的解题可以做到100%正确，AI再怎么发展也只可能保证无限接近100%，我拿一个100%正确率的方案兜底不比仅靠现在还不到90%正确率的AI安全吗，多多少少有点吵作概念的嫌疑

@exfrigustra2841 2 ай бұрын

“像Chatgpt一样不知道那句是真的哪句是假的”😅

@dongdong6486 2 ай бұрын

端到端都误区了哥。。。你咋理解的

@alanhuang9009 2 ай бұрын

其实所有围绕着技术的争论都没有必要和意义，因为不管哪个自动驾驶方案或者路线，只要看其底层逻辑到底是不是真正的”拟人化的无人驾驶“就可以了，只要是真正具备像人一样的学习能力的，不管是什么路况还是规则都能适应。

@alanhuang9009 2 ай бұрын

大刘还是稍微落后或者说保守了，最新的12.5已经出来了，可以去看看。

@jshw-zx9sm 2 ай бұрын

国内市区也在路测特斯拉12.5系统，无法通过路测评审。对于中国路况，特斯拉完全不适应中国道路环境。工信部对特斯拉上路许可，给予延后。

@alanhuang9009 2 ай бұрын

@@jshw-zx9sm 1，没看到墙内有任何关于12.5.1的测试报告。 2，FSD在墙内当然不会很快推广，因为大模型学习需要时间，而特斯拉在墙内和北美的积累完全不可比。但是只要FSD的基本逻辑不改变，这个只是时间问题，不存在物理鸿沟。道理就像每个从国外回国的人一样能开车，虽然需要多一点时间调整思维。

@jshw-zx9sm 2 ай бұрын

@@alanhuang9009特斯拉12.5国内路测比境外还早，特斯拉上海厂下线，工信部就想把特斯拉作为今年第一个发放上路许可的车厂。 fsd所有数据库都在国内，不影响特斯拉国内路测评审，几个月前来华已经谈妥，fsd可以在国内特斯拉的车型上路。最近工信部多次在11个城市路测评审，特斯拉无法路测达标，许可一再延后。

@alanhuang9009 2 ай бұрын

@@jshw-zx9sm 时间问题而已。只要FSD是真正的拟人化自动驾驶方案，就一定能够适应任何的道路环境。反之，如果不行，那说明FSD不是真正的拟人化自动驾驶路线，马斯克在骗人。如果FSD都不能适应的道路环境，那么以激光雷达+高精地图+人工预设执行代码所代表的以”避障“为目标和底层逻辑的所谓自动驾驶方案就更不可能适应。这是一个逻辑认定问题。

@louiszuo 2 ай бұрын

你是哪里获得的这些所谓的第一首消息？@@jshw-zx9sm

@wayway1218 2 ай бұрын

就是因為有無限corner case 無法靠手寫規則一一解決，才發展端到端。現在你又反過來說corner要手寫規則解決。🙄 你要如何為無法預測的case寫規則? 不懂可以不說，不要出來帶偏👎

@getstevenliu 2 ай бұрын

你再认真看一遍我是怎么说的。

@wayway1218 2 ай бұрын

你要不要再聽聽你從6:15開始是怎樣說的？

@waffenss1234567 2 ай бұрын

這敘述確實有矛盾

@getstevenliu 2 ай бұрын

@@wayway1218我来给你解释下：端到端解决了手写规则的泛化问题，避免了代码山。但是因为黑盒模型特性导致无法预测某些情况下大模型的决策水平，所以需要有手写规则来兜底。把大模型的能力下限给约束住，上限由大模型涌现。理解了吗？如果是我表述问题导致你有误解，这是我的问题。但是思路没问题。影片中这一部分的叙述，来自对于业内专家的请教，不一定完全正确，但事实是如此。

@superdigua 2 ай бұрын

关键在于智能。也就是对上下文的理解。

@許明陽 2 ай бұрын

不是，AI不是理解，而是依據上下文(或前後字句)會出現機率分布。

@jshw-zx9sm 2 ай бұрын

@@許明陽是的👍理解正确

@superdigua 2 ай бұрын

@@許明陽目前的 AI 已经可以做一些数学题。这是无法用概率分布来推测的。

@superdigua 2 ай бұрын

@@許明陽 AI 代理并非如此

@PaiChen 2 ай бұрын

用幾年看看安不安全

@東東-w3p 2 ай бұрын

頭香！！～

@9263STYV 2 ай бұрын

其实这个端到端目前还是个多个模块的缝合怪，这个虽然泛化能力得到了提高，但是出现了幻觉问题。所以目前特斯拉12v跑低速，一上高速就切换成 11v. 这个光靠堆算力并不能完全的解决问题。另外黑盒问题并不是说程序员不能知道AI在干什么，这个是 debug的时间成本太高了。因为一个决策所相关神经元可以达到百亿级别，每一个神经元都对决策产生一点点影响，然后叠加起来。回溯计算点非常的消耗时间，debug一次可能需要几个月这种级别。所以目前主流的观点认为只能用魔法打败魔法，就是训练另外一个模型来监督主模型。而且现在最新的研究表明，用 Ai生成的数据来训练模型会让 AI的推理能力崩溃，有点像近亲结婚生出低能儿的情况。

@ububububkimo 2 ай бұрын

🎉

@UncleTech 2 ай бұрын

许多人担心让AI产生出想象力，就怕它“突发奇想”做出荒唐的事。其实这样反而越来越像人，人性的下一步就是神性。人类可能修炼万年才产生神性，但对AI来说觉醒就是一瞬间的事，非常期待。

@eaglezhou1243 2 ай бұрын

自动驾驶就是个骗钱的玩意，车企现在学聪明了，压根就不上当，先把自己的智能辅助驾驶搞好再说。

@zephyrich 2 ай бұрын

关于特斯拉端到端感知和规划分离是事实性错误

@getstevenliu 2 ай бұрын

愿闻其详，请赐教。

@malou_galaxy 2 ай бұрын

@@getstevenliu “I moved on from being a tech lead in the vision team to join the planning team and start another bold ML project with @pariljain: an end-to-end network that takes in camera images and directly drives the car. There was a lot of disbelief at first, but as most of you know, this project is now popularly known as FSD V12. ” tesla前工程师说的，没有两套系统，就是彻底的端到端

@malou_galaxy 2 ай бұрын

@@getstevenliu 看完了你这期视频，如果说你这个视频是半年前发的，可能还有点说服力，但是在特斯拉都做出端到端还迭代到12.5情况下还在说一些端到端不可控的似是而非的批评就很难理解了。首先关于tsla是不是端到端我已经回复你了，很难想象一个科普博主在这么重要的细节上要靠观众来做fact check；其次关于端到端的表现ytb上就有无数fsd 12.4，12.5的测评视频，为什么不去看看再来评价呢？

@malou_galaxy 2 ай бұрын

这个科普博主居然能在被指出错误的情况下不去自己查证，还好意思伸手要证据，大胆猜测下这个视频的材料可能是地上捡到的

@getstevenliu 2 ай бұрын

@@malou_galaxy 1、你哪里看到特斯拉现在做出端到端了，你有看过代码吗？除了马斯克的证词之外。2、请认真看我的视频，之前我的视频也讲过，目前是分段式端到端，不是你理解的那种。3、迭代到12.5跟它是不是端到端有直接关系吗？4、什么叫似是而非的批评？我自己就是特斯拉车主，我很喜欢特斯拉这个品牌，但是你作为一个观察者去讲一下自己的理解也有问题吗？5、无数Fsd的评测视频能说明什么？ 6、什么叫被指出错误的情况下不去自己查证？有没有可能我是向业内人士请教了之后，才得出了视频内容，然后看到有读者提出这是「事实性错误」后，希望能得到更详细的说明和赐教，这叫「要证据」？你是真TMD多管闲事。