如何理解“梯度下降法”？什么是“反向传播”？通过一个视频，一步一步全部搞明白

[@amyma2204]

说来惭愧，从业ml已经快6，7年了，看了王木头的视频才发现自己还有很多基础的东西都是囫囵吞枣。不得不说最大的收获就是木头这种学习方法，让我不断反思自己的学习过程

[@ixy6864]

27:29 用链式求导确实是很自然的。因为神经网络的 cost function 本身就是一个复杂一点的函数而已，反向传播算法的本质也就是对neural_network_cost_function求θ的偏导，其实也没什么特别的，但可能是因为这个求导过程实在是太繁琐复杂了，导致很多不太会求导的人不理解，而且求导必须从输出层“反向”计算到输入层，所以就有了个名字“反向传播算法” 28:13 The Feynman Lectures on Physics Volume II - mainly electromagnetism and matter 讲了gradient, divergence and curl. 我本科的时候也没搞懂这些概念，也是看了费曼的书才懂的。。 29:07 Vectorization(Array programming)在机器学习，机器人学等很多学科都是基本操作了，但这也是上了本科的课程才可以接触到，之前的初高中的问题标量就可以解决了，小学初中高中12年都只学了一些简单的没有什么价值的东西😥 29:36 神经网络里面的符号系统我感觉Andrew Ng的machine learning讲的好一些，他用θ来表示了w+b少写了了一个加号和一个字母，Robot Modeling and Control by Mark W这本书里面讲机器人前向运动学的时候也是用齐次矩阵来表示一个rotation matrix + linear matrix，都增加了矩阵的维度方便了我们理解但是也多了一些计算 43:58 吐槽的确实有道理，我们的教材没有定义符全是等号确实难以理解。不过编程语言里的“=”号确实相当于定义，而“==”符号才相当于教材里面的“=”，很多时候我机器学习的数学公式没看懂，但是用python或matlab写的代码就可以看懂！🤣 47:32 里面关于事实与解释和观点感觉讲的好。对与一个事实，不同的人（或者不同的系统）回有不同的观点看法解释，这是不同的解释很可能是等价的没有对与错，好与不好的区别，关键是这些解释能不能符合事实。而且我们的自然语言（无论是英语还是汉语日语）本身就是很模糊的，本身就没有严格的定义与解释，所以用自然语言对事实做出的解释不同也是很正常的。

[@maggiekay1]

最后说的真的是点睛之笔！通过学习神经网络， 来结构我们的学习的过程，真的是高

[@Most-qn4fc]

每个人学习的时候应该都有一个小口诀，包括书籍的作者。候很少有人会讲出这些小口诀，导致了学习者相当的学习困难。能自悟出小口诀的，可以彼好的自洽记忆，不能的人往往很快就会忘记。这个小口诀我觉得就是融会贯通的一种表现。感谢up主

[@rosewei6072]

感谢。你的思维方法和我的很吻合，所以听起来很顺，也很愉快

[@kenlee5374]

很棒的表達方式，比怕錯以純數學照本宣科來說，執得鼓勵

[@yoyooversea]

梯度下降法，讲解得相当通俗易懂！

[@趙錫亮]

講的很棒，雖然還不太理解，可能要多看幾次。看的出很用心地做簡報及研究出自己的理論。

[@opgushaaa8603]

謝謝木頭的分享!!，網路上很多資源，但是就你的我最好理解，在看的同時也覺得木頭你的理解能力真的很好，講解的很流暢。

[@user-TweetyBird]

我也是，需要多看。非常感谢。我也会推介给我小孩。

[@janewu2022]

看了不下五遍。总于明白了，我的理解是，在这里“梯度公式”起到了一个“拆出分量”的作用。 这个点困扰了我很久，以前一直不知道为啥这里要一定要出现梯度公式。 本质，和“切西瓜”这个方法是一样的，就是相当于“最棒的切西瓜“方式。 😂

[@will19181]

如你所說的不嚴謹, 但是卻可以快速幫助我理解, 真的感謝你

[@shijundeng9543]

虽然只看了这么一个视频，但是觉得对于事实和解释的区别是很支持的。在很多时候，尤其是一个领域刚入门的时候，网络上很多人的文章对于一个概念的解释只关注准确度，而不去关注读者是否能够很好的理解，在我看来，再准确的解释，如果不能让读者很好的理解，都是没有意义的，如果你想通过解释的准确性来自证自己是多么的NB，真的大可不必，恰恰相反，用最容易让人理解的方式解释清楚一个概念才是真NB。

[@KeevnWang]

但往往因为容易理解所以不严谨，于是就会产生歧义，你觉得理解了其实是错的。就像这个博主花了几个视频讲损失函数，但他怼损失函数的概念从开始就理解错了，原因就是他没有去看严谨的定义，而且找了一堆科普文章试图理解，其实并没有理解

[@周玉林-m1l]

麦克斯韦方程，第一个式子，电场等于，电荷的空间密度除以一个常量。

[@尹天驕]

谢谢提供的脚手架，对我这个深度学习小白来说久旱如甘霖

[@maxxxx9569]

万年潜水员也要上来冒个泡点赞支持一下！讲的太好了！

[@揽月楼中店小二]

梯度就是可以作为向量理解的，吉尔伯特老爷子的系列课程里有过类似的讲解

[@JoJoAllen]

真的很不錯~

[@woodywan4010]

這集中間的數學還是有點難吃進去⋯ 理解倒是不難, 就是一堆上下標看著頭疼哈哈

[@glorialiu7979]

太喜欢您的授课方式了

[@徐烨-t5g]

@up主，三维图像咋搞的？Mathematica?Matlab?配合三维图形动态解释看着好舒服。求工具介绍

[@ztc106]

這一系列的影片做得非常精彩，但是這一集的符號特別多。不知道是否有辦法製造微小且具體的範例

[@Charles-rn3ke]

我上本科学多元微积分的时候，老师一开始就会强调梯度是一个向量。难道国内和美国教的方法不一样？

[@jornchen2575]

看了几遍，终于看懂了些

[@karsten8995]

建议把你所有视频脚本整理出版，求文稿版！

[@tommyjarvis2269]

搞出来让你做ai视频吗？😃😃😃😃

[@karsten8995]

@@tommyjarvis2269 作者出版可以赚钱，我花钱买他的知识产权产品，我学会了/学不会，怎么用是我自己的事情

[@Most-qn4fc]

这一集相比交叉熵那一集有点难懂，可能是概念比较多，或者说计划更复杂，或者是中间对概念的解释有些快进。如果本集观众只具有交叉熵那一集视频的基础而没有额外的基础，可能看不懂本集。小小建议~

[@Most-qn4fc]

计划=计算

[@SpL-mu5zu]

好用心的视频

[@jameslin9566]

主要是理解好偏导的概念

[@hongkunshi4684]

良心博主

[@黃志佳]

加油，梯度下降终于见面

[@davidlau7182]

太会讲课了！！！

[@bobjiang82]

内容很好，就是有点啰嗦 😁

[@eve2533]

太感谢了

[@缠论解大盘]

你这个片头，玫瑰铜铃眼吗

[@ztc106]

影片裡頭提到的「學習率」是什麼東西？ 似乎沒給出定義，也沒有更深入地解釋，非常可惜。

[@hbj418]

梯度变换的快慢

[@ztc106]

@@hbj418 厲害！原來，了解，感謝

[@ningzhiyuan]

这也太复杂了

[@michaelzap8528]

实话实说。 你以前的视频都非常好。 但从这一期开始，所谓的梯度下降法，开始暴露出你对于机器学习的哲学和抽象级别的理解的欠缺。这导致了这一期讲解的内容开始不知所云。 你原来的机器学习的开场思路是非常正确的。 其实你应该顺着傅立叶变换的思路展开学习和讲解，你你会发现所谓的深度学习 包括大语言的transformer等等都异常的简单和自然。理解和实际操作实现，不是一件困难的事。

[@beananonymous]

求问能不能给你一些你能获得这个学习思路的材料？（文本，or 视频啥的）

[@朱清-t4s]

0.75倍感觉不错

[@chiaominchang]

好耶

[@ningzhiyuan]

逐渐听不懂

[@雪峰付]

没讲透

[@yangod2908]

三连！！！