“交叉熵”如何做损失函数？打包理解“信息量”、“比特”、“熵”、“KL散度”、“交叉熵”

设计损失函数是的3个常见方法，其中交叉熵是设计概念最多的。
一个视频把“信息量”、“比特”、“熵”、“KL散度”、“交叉熵”，这些概念彻底搞明白。

[@JJjon13]

一开始偶然看到兄关于卷积的视频还觉得解说的有些繁琐，后来又看了几集越看越精彩直到这集，兄的解说思路是从一个认真思考学习者的角度去展开，里面涉及的很多问题如果你是一个爱思考的读者的话肯定会碰到，这里面也解答了我的很多疑惑，给了很大启发，做这种水准的视频一定很费时间，希望木头兄能够坚持下去，加油！！！

[@Rosie-lh5ge]

我非常喜欢你的思维方式，问为什么及解答为什么远比给出公式更重要！ 你是迄今为止把neural network 说得最透彻的一个人，没有之一！❤❤❤

[@rayrmd6806]

说的很棒，问正确的问题，学习的是一种思想，思路，方法，逻辑思维。以现在的技术发展和方法手段知识易得，而思路，模式才是最难的。

[@chiangmj9442]

講得真好！王老師不只知其然，還知其所以然。如同物理大師費曼一樣，不只懂表面運用，還懂其真髓，能把一個抽象的概念，介紹給像我這樣的外行人聽懂，真了不起，感謝！

[@mingyangge5425]

讲力的定义那段真是醍醐灌顶❤

[@yhj2580]

这个博主真的是太牛了，不光是讲了知识，更是讲了问题以及解决问题方法的来龙去脉。中国的中小学和大学如果都是这样培养学生的，那我相信培养出来的学生更能够具有探索未知的能力，而这正是科技进步的源动力。

[@weiyuan1981]

首先感谢老师的讲解！ 这里针对三个关键点，补充一点点小细节： - 最小二乘法: 针对回归问题，也就是预测值是一个实数 - 极大似然估计: 可以针对回归问题，也就是预测值是一个实数；也可以针对分类问题，也就是预测值是离散的类别 - 交叉熵: 针对分类问题，也就是预测值是离散的类别 视频中使用分类问题，联系起来最大似然估计和交叉熵。 此外，在回归问题中，可以在线性系统的输出之上，加入一个高斯噪声。然后利用最大似然估计，最后可以把最小二乘法和极大似然估计联系在一起。 这样的话，以上三个关键点就可以全部串起来了。

[@ralphchien184]

交叉熵這個數值實在很難用一般直觀的物理量才解釋,但是能夠把他解釋得清楚的人,肯定非常理解該數值的定義還有應用,木頭哥視頻的高智商解說確實令人印象深刻,小弟徹徹底底佩服了!

[@chriskong7418]

王老师讲的太好了，不是在“灌输”知识，而是真的在让人学到知识。

[@Most-qn4fc]

你的视频讲的太好了，很多过去似懂非懂的地方听了之后，都能很清晰很通透的理解了。比如定义和等号的那部分以及熵的那部分讲解。很难找到其他人讲的如此通透，大多是应用角度的介绍，这样很难知其所以然。理解一个概念时遇到另一个不懂的概念，是很难做到通透的，更难在未来面对问题时灵活应用。感谢你的视频！

[@xzl20212]

同感，从自发的问题中学习让知识长出来，并且自洽是种享受。但有时侯总是有着对知识本身的着迷然后学到一半发现暂时不能联系甚至不能自洽。为了避免这部分知识给自己脑子熵增，要不断清理整合。您的视频就对此贡献很大，感谢🌹

[@madcauchyren6209]

根据我的记忆，极大似然法的log是因为假设随机变量遵守正态分布而来的，不是单纯的连加连乘的喜好问题。如果假设随机变量遵守另外的分布，表达式也应该有不同。

[@smocare7659]

博主太牛了， 而且讲课的思维方式和愿意和观众分享自己的学习过程的讲课方式让人耳目一新，让人知其然，也知其所以然，我愿意做你铁粉，而且把你当做我的榜样和目标！

[@michelletan4249]

老师讲的课太深入浅出了， 把深奥的公式剖析地浅显易懂！ 辛苦了。 在您的视频里我真的学到了很多！ 谢谢谢谢！

[@liman8622]

讲的太好了，如果将一个知识体系比作一个宇宙，博主给了我们视角来看宇宙是怎么形成的，之后在让我们来观测宇宙内部的星系，大赞

[@zhangzq71]

从具体精确的知识到泛泛的人生哲学都讲得这么通透确实让人佩服。

[@zyhuang9056]

这个视频最后的总结十分精彩！通过对学习和知识的理解再一次展现出信息量的重要性，同时又启发我们去思考什么学习才是真的学习，赞！

[@hbj418]

从知识体系中生长出来的，而不是移植过来的，说的太棒了，我可以用来教育我的小孩！

[@ztc106]

這個視頻的解說重視「why」，更勝於重視「how」。比大學教授的講解更精彩！

[@linHsinHsiang]

謝謝王老師！能在廣大網路找到你的影片真是無比幸運的一件事 最喜歡老師您會解釋公式的思想，讓我能跟了解大學所學的內容 而且背起來也比較舒適！

[@Hanna_Emma]

最后的总结太棒了！之前一直困惑中外教育的本质差别，身有体会，带也讲不清楚。突然感觉悟到了。感谢分享。希望能在学习的视频后面加上更多类似的“哲学”探讨。非常吸粉！

[@Hanna_Emma]

能加个LinkedIn吗？

[@davismao]

套一句李鴻毅教授說過的話 most likelihood完全等價於least cross entropy

[@user-wy7wl4el6g]

讲得太好了，非常喜欢你的思维

[@user-zn6ck3yi8d]

up主讲得真好，第一次如此深入的了解了交叉熵的概念。

[@guestg4556]

享受思考的过程。 你是独一无二的播主。多谢。

[@heartsun7301]

木头老师，分享心中的自洽圆满的过程，不要在乎是否小众还是大众，本来世间在有限的时间发现激活函数的概率就不高，所以不要在乎别人的看法。

[@jackwang7425]

很少评论，但是对于你这样的学习方法特别认同，点赞了

[@joetsai4676]

最后一段话说得太好了！

[@dja6677]

真的太好了

[@qilingzhang-ys7bc]

🎉🎉真的给王老师点赞，获益匪浅

[@fanliu9233]

讲的太好了！看完感觉都通透了，把很多知识点融会贯通了

[@zhengjiang9375]

讲的太好了！This video deserves one million views.

[@c_kevin9736]

(正确的知识,可能比不上真问题) 谢谢王老师,您的视频对我受益良多,我选择也是学习。

[@robinsonting4486]

完全赞同王老师的观点，每期都是一开头就点赞了，因为听到了王老师解惑的过程中的思考

[@michelyupeng]

重心在于学习，下周一应聘，你这视频对我太重要了，看书看了好多遍不如看视频一遍

[@robinwang1129]

本家木头一点不木， 头脑灵活， 口齿清楚！ 加油❤

[@puwenjun]

太牛了，很多概念能串起来，说明up对概念理解的深入

[@shaoyinguo415]

王老师这完全是从第一性原理思考啊，最后一段太谦虚了，敬佩

[@woodywan4010]

講得太好了！問題才是學習的源頭！不帶著疑問去學習效率真的很低

[@liangzhou-hk2cm]

太牛了，一口气看完，加油💪🏻

[@bangbangbang673]

加油加油，，，感觉是看过最好的视频了

[@user-wy7wl4el6g]

讲得太好了，要是中学时老师像你这么讲，说不定我能考上北大清华😄

[@jminwu587]

感谢up主。涨了知识，更涨了思维方式

[@user-jk9md5jn2t]

讲得很好，学习探索的心态值得我学习。

[@chc1006]

木头哥把神经网路中的重点概念的直觉説得很清楚，我是中英文双声道，这是KZbin 中最有效吸收NN 理论和直觉的频道。

[@user-cy7rg5ed3u]

哇，作者太厉害了，我有收获，谢谢你

[@mainerjasoon1501]

真正的学习者!

[@yunliangli8068]

厉害👍👍 多谢这么精彩的视频

[@michaelchien6680]

受益良多，真是非常感謝.

[@gausseking]

讲得很好。概念非常清晰。感谢。

[@yunliangli8068]

非常感谢，如此精彩的视频

[@sanko9967]

👍👍👍讲得太好了，佩服。

[@PistachioAlgorithm]

谢谢王老师，这个课太棒了！！！！！！！！

[@lar4853]

淺顯易懂的解釋，謝謝你。不過要小心乳滑😆😆

[@yingjiaguo8319]

最后那一段讲的太好了！

[@yingjiaguo8319]

信息量是学习的一个特别好的视角

[@user-gu7qs9sq7q]

又教知识，又教哲学，太屌了

[@tigerwang8302]

给up主点赞。

[@leonlau3897]

讲得太好了，厉害👍🏻

[@nikkilin4396]

好喜欢你的思维方式。

[@xueyingcheng7614]

講的太好了！！！謝謝您！

[@azurewang]

非常清晰，严谨！

[@tigerwang8302]

最后的一段话也是一个人获取信息的规律，先抽象再具象。

[@user-nr1qm8ie3h]

讲的真不错，点赞

[@jx5534]

信息量这个讲的真好

[@chiangmj9442]

謝謝！

[@plusdesigner5509]

给博主点赞，希望多发视频

[@LichengBao-to6eb]

必须要点赞

[@YingleiZhang]

·赞一个！

[@howgreatmars]

讲的太好了

[@yoyooversea]

高高手！仰慕！

[@michelyupeng]

多谢，终于通透了

[@jp4815]

excellent teacher!!!

[@yixuan9213]

聪明啊

[@yichi-xuan]

感恩

[@jatosalo5055]

天啊 這教學太棒了

[@user-nr8oi6nv3r]

超棒的~

[@kevinlou8374]

講得很好呀兄弟!!

[@dawndusk4962]

感同身受

[@kaik7859]

讲的太好了，不过还是适合有点基础的人

[@minglee5164]

后面的话更加精彩

[@haoyulin3153]

太精彩了

[@JK-sy4ym]

太棒了五体投地

[@user-eh1jb7zi3k]

很棒!讚讚讚!!!

[@enchang2957]

阿根廷真的奪冠了...

[@user-pd2ly3bk2t]

思考: 自己想要解决的问题，就是有价值的，因为信息量非常大。 熵在变小的过程中，会针对这个问题搜集到的信息量，产生新的问题。 那就会产生更多的信息量。 所以，要去提问，更要去解决。 不提问，就没有信息量。 不解决，就不会有更多信息量。 最后的良性循环是，成指数倍的信息量，能增加自信、专业度，再去促使自己研究和进步(◍•ᴗ•◍)......

[@kfwai1248]

支持😀

[@dextersherloconan2522]

19:55 一个问题：到底哪个概率测度是“基准”？同样的表达式，视频里说的是前者P，维基百科（及很多其它资料）说的是后者Q是基准。另外，KL散度的计算式是基于概率测度（离散：概率质量函数PMF； 连续：概率密度函数PDF），因此后面举的机器学习的例子在统计学里，应该是不严谨的，即KL散度是无法直接在样本数据上计算的。

[@sophiez7952]

学习！+ then knowledge

[@lawrenceho7731]

您好，很喜欢您的解说，方便给我您这些课件么？可以更好的对照学习~

[@yeelignyee3767]

赞赞赞！

[@xsr1551]

阿根廷夺冠都被你猜到了 厉害

[@lokk8301]

我透了吧。我透了，學錯了，也會學對的！謝謝！謝謝！

[@jasonto5869]

受教了

[@KeevnWang]

你对交叉熵和损失函数之间的因果关系弄反了，交叉熵是损失函数的推导的结果。先要有最小化目标，然后设计损失函数，推导损失函数的结果形式，其中有一种比较常见，而且恰好和信息论中交叉熵的形式是一样的，于是起名叫交叉熵

[@joedavid1809]

牛🐮

[@plusdesigner5509]

博主有没有考虑过e=mc2的问题，这个是定义还是定理，如何自洽的

[@user-TweetyBird]

原来如此

[@user-no3et7cy5o]

感觉信息量更像是震惊值

[@pikaiaguo8579]

看来up主不是狐狸，因为：“高斯象一只狐狸，用尾巴扫砂子来掩盖自己的足迹。”

[@cczhu3623]

你说的我感觉三个字： 你懂我

[@michellet5795]

激活函数是学习 +1