機械学習の数学（鈴木 大慈 氏、FD研修会「人工知能と数学」）

大阪公立大学大学院理学研究科FD研修会 「人工知能と数学」2024年2月15日
www.omu.ac.jp/...
講演者：鈴木 大慈 氏（東京大学大学院情報理工学系研究科・准教授）
講演タイトル：機械学習の数学
講演アブストラクト：機械学習は現在，ChatGPTや拡散モデルといった基盤モデルの発展により，社会的に大きな影響を与える技術となっている．これら基盤モデルは大規模資本によるモデル開発による発展が著しいが，一方でその裏には数学的に興味深い理論的背景がある．本発表では，そのような基盤モデルを支える深層学習の背後にある理論を紹介する．より具体的には，代表的な生成モデルの一つである拡散モデルの背後にある確率微分方程式による特徴付けやその推定理論について述べ，大規模基盤モデルの基本構造であるTransformerの関数近似理論についても述べる．さらに，深層構造により高い学習効率を獲得できることの理論的特徴付けを紹介する．これは深層構造による特徴学習が，特徴を固定した手法に対して優位に立つことによる．最後に，ニューラルネットワーク最適化に関する理論を紹介し，そこに現れる数理構造を紹介する．具体的には，平均場ランジュバン動力学による大域的最適性や勾配法が平坦な最適解へ収束することについて説明する．
講演スライド：www.omu.ac.jp/...
大阪公立大学数学研究所（OCAMI）
www.omu.ac.jp/...