LLMはどう知識を記憶しているか | Chapter 7, 深層学習

[@underscoress]

youtube普段はほとんど倍速で観てるけど、このチャンネルのこのシリーズは等倍で観ても理解が追いつかなくなる

[@MK_AGI]

素晴らしい、私も疑問に思っていた。

[@ka-vb3we]

待ってました！ ありがとうございます！

[@machida5114]

非線形述語層が意味的知識を保持しているということですね。😎

[@machida5114]

非線形述語が意味的判断基準を獲得していると思われます。 ここで、「意味」とは、行動(/発語)する論理的根拠、つまり 行動(/発語)因果力を指します。

[@way6202]

いい動画をありがとう

[@non-mtg]

自分がこの分野を勉強した数年前よりもLLMの中身が分かってきてるの科学の進歩を感じられてとても良い 活性化関数はGPT-3のレベルでもReLU使ってるんだ

[@Mos-u4r]

GPTシリーズはすべてGELUを使用していたと思います

[@sibain_wuw]

待ってました

[@まさぽこP]

保存できる次元数が多いので、同じトークンでも周りのトークンによる影響を細かく学習できるってことかな。例えば、「村」ってことばでも現実世界なのか、日本の村なのか、海外の村なのか、異世界の村なのかって感じで影響に対するフラグや記憶次元を確保できる。だから人間の脳と同じように正確に推論ができると

[@merdekaataumati1949]

17:10 ここからのジョンソン-リンデンシュトラウスのレンマの流れは、目からうろこだった。 N次元空間では、N個の概念しか思考できないと思ってた。 実際は、e^(ε N)もの概念を思考できるのか。

[@dharmazeroalpha]

特に19分過ぎからのジョンソン-リンデンストロースの補題についての解説は非常に重要ですね。LLMがどれだけ汎用人工知能GAIに肉薄できるのか興味深い示唆になっています。

[@lugensmotacillaalba2472]

ふむふむ。なるほどね🤔

[@capyzo]

GPTのパラメータ数ってこういうことなんだと、ちょっと解像度上がるだけですごいゾクゾクします！ 直交じゃなくて89-91°にすることで表現力が爆上がりするアイデアもマジすごい！セレンディピティ的なことがおこってるんでしょうか？

[@食用お味噌汁]

この言語ベクトルって、途中までの学習で止めると多分why japanese people!?ってAIも感じるんだと思う😂 ベクトル的にこうきたらこうなんじゃねえの！？って

[@食用お味噌汁]

神経回路を模倣した計算っていうアイデアは昔からあるけど、ようやく現実的に応用ができるレベルまで発展しましたね 既存のアーキテクチャの計算資源で十分成果が出ているのでコンセプトとしては本当に正しいものだったと思います

[@wswsan]

3B1Bオリジナルのこの次の動画, めちゃくちゃ興味あるけど中盤から理解追いつかなくなってる

[@徳川慶喜-u6o]

使えてるけど説明できない部分があるのが驚きだった 過去の麻酔のメカニズムのような

[@user-ml4qd8kh4l]

8:50でB↑=-1にして、10:50でRELUで+1.0以外を吹っ飛ばしてるようだけど、B↑が-1なのはたまたまじゃない？ 反例として、8:50の上から3つ目のB↑が+5.0だから通っちゃってるけど、結果が+1.5ってことはW↓Eiは-4.0だったってことになるはず。つまりマイケルジョーダンと全く関係ない情報も、B↑のさじ加減によって通っちゃってるんだがどういうことだ？ 仮に8:50の上から1つ目しか見ないとしても、B↑のさじ加減で変わるくない？ それとも、ニューラルネットワークだから良い具合にB↑も調整してくれるのかな？わからん というかそもそも、17:00のように１つだけにマイケルジョーダンの意味が入ってるって思考ロックが間違ってるのか？ うーん、わからん

[@ああ-k5z1r]

コウメ太夫ってすごいんだなー

[@kosetei1]

Chapter6までどこいった...

[@クレオパトラ-y5f]

これってノーベル賞に絡む？

[@ぺんぎん-k3c]

Machine Learningの研究がノーベル賞取りましたね！

[@うぅろん茶]

数式がたくさんあって難しく感じるけど、はい〜いいえの質問を何万項目もしてるって考えれば分かった気になれそうな…

[@goc-2611]

分かった気になってるだけってことを頭に留めておいてね……(遠い目)

[@さっし-o5m]

このチャンネルの動画9割理解出来んけど見てる

[@motoki7419]

それは素晴らしいことですね！ その繰り返しがあなたの脳内MLPに情報を与えているでしょう

[@本堂啓三郎]

​@@motoki7419最高。希望がある。

[@MultiYUUHI]

全然分からなかった