2024Fall 大規模言語モデル(LLM)講座 特別回：LLMの自己修正〜OpenAI o1 の関連研究〜

2024/10/17(木)に開催した、東京大学松尾・岩澤研究室の大規模言語モデル(LLM)講座2024「LLMの自己修正〜OpenAI o1 の関連研究〜」を特別に松尾研KZbinで公開することになりました。
▼講義資料はこちらからダウンロード頂けます
www.docswell.c...
★鴨井講師プロフィール
2020年　慶應義塾大学理工学部数理科学科 卒業
2022年　テキサス大学オースティン校　修士号取得
2023年~ ペンシルベニア州立大学 博士課程所属
研究分野：LLMの信頼性向上、誤り検出、自己修正、評価、マルチモーダル
ryokamoi.githu...
x.com/ryokamoi
------
本講義内容に興味を持たれた方は、次回2025年以降に開講予定の「大規模言語モデル」の事前登録を行いますので、ぜひお申し込みください。なお、深層学習の基礎から学びたい方には、来年開講予定の「深層学習 / Deep Learning基礎講座」の受講を併せてご検討ください。
東京大学松尾・岩澤研究室では様々なDeep Learningの講座を原則無償で提供しております。
次回の開催案内をご希望の方は下記のフォームよりお申し込みください。
◆東京大学松尾・岩澤研究室 Deep Learning 講座事前申し込み
forms.gle/8GTi...
◆大規模言語モデル講座 2024 Fall 開催概要（現在は締め切っております）
weblab.t.u-tok...

[@青野俊夫-y7q]

興味深く拝聴しました。勉強になります。ありがとうございます。 「そもそも誤りとは何か？」の議論が、Self-consistencyのあたりまでは分かった(確率的な揺らぎ)のですが、自己修正からは理解が追いつけませんでした。正誤の学習データを作ってそれを反映していく手法は、ブースティングにも通じるように感じる半面、1次モデルでの不正解データにウェイトを置く再学習によって、学習データの分布をドリフトさせているようにも感じました。

[@ryokamoi]

コメントをいただきありがとうございます。発表者の鴨井です。 ・そもそも誤りとは何か：「確率的な揺らぎ」というお話をされているので、誤りが起こる原因についての疑問だと理解して回答します。そもそもLLMがなぜ間違えるのかという話は細かく考えると色々あると思いますが、ざっくり言うとどの手法もLLMが出力を生成するにあたって一定の確率で間違えるという状況を考えています。しかし、（トークの内容と重複しますが）LLMが正解を出力できる確率についての仮定が手法によって異なります。Self-consistencyとgenerate-and-rankについては、LLMから同じ入力に対して複数回の出力を生成すれば正解が含まれる、すなわちLLMが低くない確率で正解を出せるタスクだということを仮定しています。一方で、self-correctionではより難しいタスクも対象にしており、何も工夫をしないとLLMが（現実的な確率では）解くことができないタスクにおける誤りも改善したいということを目標にしています。言い換えると、自分の出力を直すという条件付き生成の方が、何度も同じ入力に対して出力を生成するよりも正解できる確率が高いことを仮定しています。 ・学習データの分布をドリフトさせている：これは面白い視点ですね。Self-correctionでは誤りを検出できれば修正できるという状況を考える場合が多いため、誤りを検出するタスク（すなわち元のタスクとは異なるタスク）が重要だと考えられており、最初に間違えたデータに集中して学習を行うことがself-correctionが成功する理由だという議論はあんまり見たことがありません。しかし、refinementの学習を行う場合には、最初に間違えたデータに対して学習が行われていることは確かなので、データの分布が変わったことによる効果も得られているかもしれません。

[@青野俊夫-y7q]

@@ryokamoi 言葉足らずの質問に、丁寧に答えていただき、ありがとうございます。 ①誤りの原因の解明→対策、ではなく、②誤りの原因の仮定(仮説)→対策による検証　という形で研究が進んでいることが分かりました。

[@ryokamoi]

​@@青野俊夫-y7q こちらこそありがとうございます。そうですね、少なくともself-correctionの文脈においては誤りの原因については議論されることは少なくて、どのような誤りでも直せるようなシステムを目指していることが多いです。 一方、LLMがなぜ間違えてしまうのかということに注目して理論的な解明・解釈を目指して研究している論文も多くあります。この方向の論文は逆に検出については議論していないことが多いので、いずれ誤りの原因と検出が統合的に議論されるようになりそうですね（既にされているかもしれません・・・）。