【機器學習2021】機器終身學習 (Life Long Learning, LL) (二) - 災難性遺忘(Catastrophic Forgetting)的克服之道

[@王铈弘]

哈哈哈哈，老師講得真好呢😁

[@jinghu5718]

some ideas behind Life-Long learning are similar to meta-learning, right?

[@福运汪]

life long learning Catastrophic Forgetting一个很重要的原因是long-tail distribution。之所以这么认为，是因为classifier相比于feature extractor更容易坏掉。

[@shadownight5679]

14:04 在看完這部分bi的決定方式，想到說是否能夠用L(θb) 的 second derivative 來當作 bi 的值，但二次微分的計算量也是會對 machine 的負擔有所提高，所以想問老師這個方法是不是可以但也同時存在著上面的問題或其他我沒想到的問題 26:17 老師講到關於EWC這類life-long learning的 algorithm 需要儲存舊的model 和 bi，這裡舊的model指的是甚麼? 複習完還是想不到舊的model指的是誰 以上問題想做詢問 ，謝謝 !

[@daydreamblue1198]

旧的model应该指的是需要储存model的参数θb，来计算新的loss

[@GenerativeDiffusionModel_AI_ML]

We can use meta learning for b_i.

[@影武者-x9k]

比如有1万笔数据，batchsize等于100，那么1万笔数据前100笔数据和最后100笔数据在一个episode也是前后训练的。和这个前后训练感觉区别也不大吧

[@konataizumi6358]

但是这1万笔数据会反复看很多遍（很多个epoch）啊，而每个epoch里所有batch都是随机组的，这样就避免了因为前后顺序导致对某些数据更加重视的问题

[@jsjsnsnns]

Research Directions里面有个小小的笔误，是Replay不是reply啦

[@simonyue3986]

关于哪一个参数对于最终的loss的影响，这个前面不是讲模型压缩的时候提到过吗？ 和初始化参数变化越大的，作用越低。

[@林家佑-j7b]

Generating的model不是也要克服Catastrophic Forgetting ? 拿這個來解決Catastrophic Forgetting好奇怪喔

[@HungyiLeeNTU]

是的，generative model 也會有 forgetting 的問題。所以 generative model 在新任務上 update 時，也會把自己產生出來的 data 再拿來學一次，就跟解任務的model 一樣

[@林家佑-j7b]

@@HungyiLeeNTU 原來如此，謝謝老師回覆。

[@Jack-sk9hy]

前排占座

[@albertwang5974]

其实不用搞这么复杂，下面是一种简单的解决方案： 1，我们可以对每一个任务都单独训练，得到针对具体任务的最好模型，每一个模型咱们赋予它一个任务类型编号，相当于class id 2，再训练一个模型，扮演router的角色，对于每一个输入任务，这个模型就输出具体的任务类型编号 3，根据上面给出的任务类型编号，调用对应的任务模型来处理这个任务就行 这样的好处是各个任务模型可以完全隔离，不会相互影响，方便训练，调试和维护

[@Yen-yu4zh]

上一部20:00有提到了 這是節省資源方面的問題 已知這1個model就有能力同時學會處理20種任務 那比起分別保存20個model 如果有方法能讓1個model不要遺忘那自然是值得研究 否則隨著想處理的任務越來越多 就會是要存1億個或20億個model的差別了