【機器學習2021】類神經網路訓練不起來怎麼辦 (五)： 批次標準化 (Batch Normalization) 簡介

[@yunzhang2553]

我的全网第一男神！表白宏毅老师！

[@siriuszhang8565]

老师讲的真好，我的深度学习启蒙老师，表白表白！！！！！！

[@客家饒舌執牛耳]

全台最帥教授，只服李教授

[@Freeman99sd]

谢谢李老师！最生动，最易懂的AI课程。

[@left_right_men]

华人里最牛逼的深度学习老师

[@jbai4001]

只是讲课讲的最牛逼

[@baobao-h3k]

研0🥲加油中

[@王柏仁-m7d]

其實x1 tilde 跟 x2 tilde 在同維度(乘以同一個w)，所以不是獨立分開處理的，老師是不是有稍微講錯?

[@kaokuntai]

13:14 實際上應該是如何運算? 產生了滿多困惑, 想詳細了解, 請解惑?

[@junjack2836]

表白老师，讲的太好了，什么时候上字幕

[@emptyjns]

The diagram on page 7 is better described as a computation graph than a (neural) network.

[@三-o2k]

feature normaliaztion 是可以想成統計上的Z轉換嗎?

[@zhuoruizhang2236]

请问老师助教讲作业的录影有机会放出来嘛？认真做了作业希望有点反馈

[@jiashupan9181]

我也是，很多疑惑没有人解答😭

[@ChenyuZheng-y5m]

好像李宏毅老师主页上有

[@zhuoruizhang2236]

@@ChenyuZheng-y5m 嗯嗯 我看到助教讲评作业的ppt了 不过我是想问有没有讲优秀作业的office hour 😂讲讲怎么过strong baseline

[@水坎火离]

我一直看不懂 等高图，请问怎么看，哪里有教程？谢谢🙏

[@juanguang5633]

15:16 请问这里z1,z2,z3为什么会改变，不是training sample吗？

[@MrJioYoung]

z不是原始的sample

[@riejelly8398]

z是中间层结果，学习阶段参数改变z就改变

[@暗影潜行]

老师，训练结束以后，测试数据要怎样输入到网络，需要normalization吗，但是每个batch的u与sigma不一样啊 是测试数据的u和sigma也是一直在做moving average吗

[@陈建铭-c3j]

感觉也只能这样

[@莊芯瑜-o1w]

想請問在第七頁的ppt上，老師把所有z的vector一起算平均和標準差，之後每個z的element在標準化，我想請問為什麼不能再跟normilize x的地方一樣，都個別標準化呢？

[@文芳-c4j]

x ̃1 代表着一个data

[@文芳-c4j]

1是上标不是特征的一维，而是一个特征向量

[@hsin3872]

我也有一樣的問題 他在處理x標準化 跟 處理z標準化的方式好像是不一樣的

[@deadfire7973]

@@hsin3872 处理方式应该是一样的吧，都需要有一个batch，求出对应是向量的μ和Σ

[@user-qz5ys6us6e]

@@deadfire7973好像不太一样，对x的处理没有考虑batch的因素，是统一了x的不同维度的范围，对z的话从课件里看已经没有这个功能了，z不同维度的范围并没有统一，更像是统一了不同batch下z的范围

[@zhijwu4624]

10:00 請問x1、x2、x3算是一個batch嗎?

[@riejelly8398]

x1x2x3构成了一个数据条目，若干数据条目里的构成一个batch，对一个batch里所有的「x1x2x3」normalization就是BatchNorm

[@cunningshark]

请问input输入时候的标准化和训练时每一层的标准化是一回事儿吗？似乎第4页的是针对某一个特征值的标准化，但是到了第5页，就变成了对训练资料不同特征的标准化，这里有些困惑。

[@cunningshark]

懂了，原来是要一次输入一个batch的数据，然后对每一个特征做标准化。听到后面讲明白了

[@haoyuandong]

@@cunningshark 我也纠结了好久是针对输入数据的行维度还是feature维度做normalization

[@LiuYifei-jb3mh]

讲的真好

[@li-pingho1441]

老師你是我的神

[@myworldAI]

哈哈，更高一级应該是佛

[@kleemc]

讲得非常好👍

[@WinnieBear-x3n]

好像沒看到Batch Normalization 的slide@@? 是我眼花沒找到嗎>

[@codedoc955]

description 里就有

[@音旋-k6g]

viagra -> serendipitous

[@flv1737]

研一

[@yulongtian7783]

点赞

[@PooGoo-p5u]

讲的真好