召回09：双塔模型+自监督学习

[@fuzzywuzzy318]

这系列视频质量之高， 以至于整个英文youtube资源里没有能和它相比的。还好可以看懂中文。

[@yunhuaji3038]

请教老师，这里变换中的随机元素，是每个batch随一次吗？比如batch1随了fea1,fea3,fea5作为第一种变换，那么训练下一个batch即batch2时，做第一种变换时是重新随机一次特征，还是继续延用fea1,fea3,fea5呢？ 如果是后者，那么下一次增量训练的时候重新随吗？ 感觉似乎应该是每个batch都重新随一次？不然很难区分batch间和增量训练之间的区别吧？自始至终只做一次随机好像也不合理。

[@8926599]

请教下，训练模型时，在双塔模型对物品的特征变换方法需要跟在自监督对物品特征变换方法一致吗？谢谢🙏

[@greengiant256-g1i]

讲得太棒了

[@jwang3417]

loss function: 4:30

[@edwardan1550]

王老师好，我有个问题，在纠偏的时候为什么是cos(a_i, b_j) - logp_j, 为什么不是除法？cos(a_i, b_j) / logp_j ?

[@shenwung123]

cosine 在 -1, 1之間, 丟到 softmax會有點問題, 如果input值域不是正負無限大, 這樣很容易 train不起來

[@ShusenWang]

实际做的时候，在进softmax之前会乘以一个系数。

[@zhongzhang3203]

请问王老师 你们有试过把自监督用到user tower吗？user tower也有头部效应 frequent user and less frequent user

[@henern-wayn]

mask关联特征方法，是否特征数量k大于多少才适用？

[@cw9249]

hi professor, can you go over capsule networks?

[@peasant12345]

log p_j的 base是10 吗 还是跟任务有关

[@z7on376]

计算机都是base 2的。但是实际上没有区别，换base就是乘一个系数而已