softmax是为了解决归一问题凑出来的吗？和最大熵是什么关系？最大熵对机器学习为什么非常重要？
Рет қаралды 12,978
Күн бұрын什么是softmax？
如何用最大熵原理推出softmax和sigmoid？
顺便了解，概率论里的矩，条件熵。
最大熵、极大似然法、交叉熵3种方法是等价的。
@xylineone 2 жыл бұрын
很好的内容希望视频主能继续坚持做下去
@ztc106 4 күн бұрын
沒想到我二年就看過，現在再看一次。之前的影片，entropy 部分，log 的底數2，這次 log 的底數為 e。Up主在 bili bili 解釋「以2为底，log计算出来的信息量单位是bit，以e为底计算出来的信息量单位是纳特/nats，本质相通，单位不同。」
@benny81305 Ай бұрын
這頻道是寶藏嗎？
@user-nr8oi6nv3r 5 ай бұрын
耶看完了 要再複習一下交叉 感謝
@chenning1799 2 жыл бұрын
我感觉你说到1个分类和2个分类的区别，好像不怎么合适。其实，我觉得1个分类跟2个分类从概率来说，分别不大。一个分类，你给到的标签是非此即彼，其实也算是2类，一个是正确的分类，一个是错误的分类，总概率也是1，只是我们只需要求出正确的分类的概率。而两个分类问题，如果这两类不能构成一个集合，那么这应该算是三分类的问题，但如果你从softmax来定义，那么你就默认了这两分类就是构成一个集合。所以这两分类跟一分类是一样的，都是非此即彼。我觉得你哪怕用sigmoid求都可以，因为知道一个概率后，另一个自然而然就知道了。
@ixy6864 2 жыл бұрын
23:32 傅里叶变换与概论密度函数共轭！！！
@LichengBao-to6eb Жыл бұрын
非常棒！
@ztc106 2 жыл бұрын
46:01 裡的式子都必須都為 0，是因為「對所有可能的 x，P(tilde)(x) > 0 都成立」嗎？
@yutingchang9735 Ай бұрын
為什麼不乾脆中間不用relu？如果relu是為了避免sigmoid/softmax梯度消失，其實relu也很像線性方程式，中間層直接不使用激活函數，最後一層再套用sigmoid/softmax是否一樣效果？
@weizhang5023 Жыл бұрын
👍👍👍
@masonalex3000 10 ай бұрын
对于任意x, y 式子恒为0，那么每一项都必须为0，不然就不是对于任意 x, y
@user-rt7lh9gx3o Жыл бұрын
最大墒得出softmax的形式，那这里面的eq，ep的想等的约束，和最后的误差最小，是一回事？
@jameshu497 2 жыл бұрын
softmax为什么要使用指数，而不是平方？王老师是否有研究过？我的直觉是平方容易产生0，其次可能指数能让梯度更大，平方不利于收敛
@dediver832 5 ай бұрын
平方不是单调的啊
@hxie9881 2 жыл бұрын
filter 的值怎样定义？有一定的标准码？
@weizhang5023 Жыл бұрын
文档可以分享吗
@user-om8xh5de7y 2 жыл бұрын
在你研究的科学的人工智能智商超高常人前，教会它伦理道德。
@minglee5164 11 ай бұрын
42:50 处，感觉原问题才是max min吧
@joetsai4676 2 жыл бұрын
因为这几项不相关啊，所以只能是都为零相加才能保证为零