【機器學習2021】神經網路壓縮 (Network Compression) (二) - 從各種不同的面向來壓縮神經網路

speech.ee.ntu.edu.tw/~hylee/m...

[@williechen1876]

端午連假不出門，在家上老師的課程 讚

[@steven-lin]

週末就是要來上課看老師的影片啦

[@moluo3048]

李老师的课就是通俗易懂

[@sq9340]

13:00 上一届留言的问题终于有同学帮我问了 感谢😆

[@r321032100]

照這樣發展下來... 以後就會有各領域的Expert Net 再由這些Exper Net融合訓練出全知全能的God Net 然後最後God Net就說出: 痛みを感じろ痛みを考えろ The End.

[@shadownight5679]

想請問各位和老師 52:00 在老師講到 Dynamic Width Network 是可以讓 network 根據運算資源的多寡去自動調整他的寬度 腦袋中有個想法，因為看到寬度的這些圖，讓我想到跟 network pruning 以 neuron 來做為 pruning 單位的圖很像。 如果是以 pruning 的每一個 update 當作是一個能夠在考慮運算資源中的 network ( 以課堂上為例，在還沒看過 paper 的情況下，認為是隨機去刪除 25% , 50% 的 neuron 當作其餘選項的 network ，我的想法是用 pruning 的每一個 update 當作一個選項 ) 這樣會有效提高每一個選項的 accuracy 嗎，還是只是多此一舉或者是跟原本Dynamic width的想法偏離了 以上想問 謝謝 !!

[@feixiongluo4198]

great leacture

[@user-zj8vv4qb6s]

想問一下老師有機會講到神經搜索架構嗎? 因為這方面網路上都講得蠻攏統的

[@bingbingsun6304]

binary 的系数,但是节点还是实数吧，这样确实应该没有区别，因为 a*b=(ab)*1, 可以把实数表达的需要转嫁到节点上。

[@user-ns6ux7jq7v]

感覺卷積層跟池化層好像

[@miku3920]

10:19 直接把 softmax 拔掉呢

[@arvinliu9858]

的確也有KD是直接對score做L2-loss