大規模言語モデルはただの遷移図。実際に作って理解しよう！【大規模言語モデル1】

[@yurucom]

プロモーション：Notion AI Notion を無料で使い始めて、月額 10 ドルで NotioAI も利用してみてください。 ntn.so/yurucom1 【ことラボ】 ◯Twitter → x.com/KotoLaboRyo ◯KZbin → www.youtube.com/@kotolabo 【参考文献】 ◯LLMの現在（スライド） speakerdeck.com/pfn/llmnoxian-zai ◯大規模言語モデル amzn.to/3VKqed7 【サポーターコミュニティへの加入はこちらから！】 yurugengo.com/support 【おたよりフォーム】 forms.gle/BLEZpLcdEPmoZTH4A ※皆様からの楽しいおたよりをお待ちしています！

[@kettle9265]

概要欄と固定コメントで脱字してませんか？ NotioAI → Notion AI

[@meiorzz]

Notion ってオフラインで使えないんすよねー。アタシは、共有用にしてます。

[@miyabi-qt7ih]

りょーさん、ホリモトモリモト上位互換じゃん

[@gnwf47]

この動画のコメント欄における、 「堀」に続く文字の遷移確率は 以下の通り。 堀→元（78%） 堀→本（22%） なお、n = 9 ※2024年6月16日18時00分現在

[@MiMi-ke5wj]

良い………

[@arcsin1203]

りょー　100%→　さん　100%→　の　100%→　笑顔　100%→　から　100%→　しか　100%→　取れ　100%→　ない　100%→　栄養　100%→　が　100%→　ある

[@天才の証明]

普通の遷移図で良くて笑うw

[@なつき夏樹-t6g]

n=1

[@一郎-b1l]

からしか辺りからはマジで100％に近い確率になってそうてまはある

[@Redcoral_moe]

コンピュータサイエンスで博士号を持っている言語学系youtuberってもしかしてスーパー水野見ってコト！？

[@mugen_gamelab]

りょーさんまさかのコンピュータ系博士号 堀元と水野を足して2をかけた存在だったのか……

[@hukuuchi]

堀元の絶対値と言わないやさしさ

[@文學少年]

りょーさん博士号取得してるの強すぎる。 KZbinやりながら博士取得したなんて。

[@nashi.2279]

りょーさんのすごさと堀本・水野さんのピエロさが際立っている神回だと思いました。

[@lanternsaristotle2255]

また、ゲスト回の評価が上がってしまう、、、

[@ただ単に生きている]

かなりりょーさんが一人ゆる言語学ラジオ過ぎておもろい

[@toshihirom2038]

ことラボりょーさんがことラボりょーさん過ぎてモノマネかと思った

[@mudaso-heavy-user]

楽しみに待ってました

[@tsuyuki007]

ぼくも！

[@鰤臼]

たのまち！

[@Pepe-dn4od]

奇遇でね、僕もです😊

[@tsicsafjapan9371]

たのまち

[@勇者あああい-m9z]

僕がマウスが４の下り、数字に対応する記述をしてなかったせいでそのまま出力されてしまったプログラム感があってとても趣がある。

[@Sasami1729_]

びっくりしてるりょーさん、笑ってるりょーさん、にこにこしてるりょーさん、キマってるりょーさん、かわいいな……

[@s_kanata220]

一人でどっちのチャンネルも乗っ取れる男、りょー

[@gamemaru]

7:45 マルコフ過程に驚くりょーさん好き

[@セイゲドン]

りょーさんの下位互換とAIの下位互換がやってるチャンネル

[@kurata_wolke]

25:57 「小手先」って聞いた瞬間のりょーさんの笑顔怖すぎるんですが

[@lafit.9106]

りょーさんの素の笑顔とかツッコミ見られるの最高すぎ❤次も楽しみにしてます!

[@yaochuhai]

りょーさんの著書、持ってたんだ自分...

[@musicdm7644]

・別画面 ・鉄の表情 ・声のトーン りょーさんが精巧に作られたAIではなく生身であるのが分かるまで5分かかりました。

[@user-catBrathers]

毎回専門家の中抜きインターフェイスに徹する堀元さん

[@chii8039]

28:06 !cat → びっくりキャット！！、いいなあ。

[@TomTomMambo]

りょーさんたまに遮光器土偶みたいな顔なるのジワジワくる

[@azuki97]

マルコフ過程のときのりょーさんの顔すき

[@gnwf47]

そのためのワイプですよね

[@rabutlilriddle1904]

たまに出番がくると、張り切って(ただし当社比)答えるりょーさんが面白いw

[@_saw6754]

コンピュータ科学と言語学のあわさった分野の博士持ちって、りょーさんホリモトミズノ融合体の上位概念みたいな存在じゃん

[@Kobarienne]

思いがけないところでりょーさん登場で嬉しい週末に。 ことラボでやってた「単語ベクトル」がとても興味深かったので、次回が楽しみです❤

[@kotokoto8362]

院生と人気KZbinr両立してLLM関連の研究で博士号とって業界注目の本の著者のひとりでカッコよくて面白くて声も良い、だと...🥴 もうこれ都市伝説やろ しかしこの本見たことあるわぁ...

[@gush-accessories]

高精度堀元モデルがドツボにハマっていく過程が動画の最後におさめられていてわかりやすかった

[@あいうえお-z4c4c]

ゆるコンゲスト回、江崎先生もりょさんも説明が上手いから無理やり画面外に弾き出して語ってるようにしか見えない笑

[@クアントロ大尉]

装丁見る限り、「(大規模言語モデルについて)知ってればいいや」とかいうぬるい層を対象にした本じゃないし読めないのも当然。 「知っている」と「作れる」の間には大きな開きがある。この本は後者になりたい人向けと思われる。

[@canterantanable]

ってことは、水野さんと堀本さんを足して、4でかけたら、りょーさんってこと！？

[@鈴木一-q4q]

ことラボのりょーさんは、ボイニッチ手稿とか解説されてましたよね 次回もたのしみ

[@zc33s31]

神（ゲスト）の神託を得るエセ宣教師回はハズレなし。 世の理不尽さを感じる。

[@godzillaaquatimez]

素晴らしい太貴模言語モデルができましたね！

[@user-qs3id1jd1n]

りょーさん2人でもう上位版のゆる言語学もゆるコンピュータ科学ラジオできるじゃん…

[@まっきー-r3j]

面白さ優先して、どの部分の執筆したか確認しないでツッコミ入れてやらかしてるの堀元しぐさあって良い。もっとやらかしてほしい。

[@aaaajp]

りょーさん、堀元と水野を足して２で割らないタイプの人だったか...

[@TheSlowcub]

めちゃめちゃ楽しいです😂 雑談に混ぜてもらってる感じ😂 それで学習できるんだから最高😊

[@shotoutlaw]

りょーさんゲスト嬉しすぎる

[@kiroro7912]

東大で情報学博士号とってるのか。 しかも自然言語処理やってて、KZbinr としても人気。 最近ゲスト(上位互換)多いな笑

[@idmuri]

カッパについてのうんちくを聞いて一般知識から答えないということは純粋にnotionに蓄えられた情報から答えてくれるってこと…！？ それなら本当に助かる 具にもつかない素朴心理学的な知識を排して色々ときけるということに…！

[@毒薬]

こっくりさんって生成AI……？

[@ダレカサン_イラスト]

コンピューター室でやったら先生に「おっ！言語モデル作ってるねぇ！平仮名と数字一文字ずつで作るのは、遷移が膨大過ぎてしんどいかもだけど、シブくて好きだな～ッ」とか言われるのか...生徒熱出しちゃうよ

[@ヒトガタ芝刈機]

江崎先生回以来の福音書(中抜き仲介業者)スタイルだぁーー❗ 楽しみにまってました。

[@mkd09218]

ちょうど『大規模言語モデル入門』、卒業研究に使わせてもらってます。 「ChatGPTにクイズを答えさせる」の章、助かります。

[@atp-e9j]

原理の説明がシンプルで分かりやすくて良かったです。分かったつもりになれます鉛筆とサイコロはビジュアルで良かったです。ロシア風の名前の方も後で調べてみます。では、さようなら

[@shomwoys]

りょーさんの元気な「ダメです！」が聞けて大満足 これなかなか良シリーズになるのでは？ りょーさんだk NotionAIの中の人も呼んで「こんな使い方したらおもろいで」ってので締めれたりしたら、興味的にも実用的にもチャリンチャリン的にも最強なのでは

[@Undo-00]

マジで仲悪くなったのかと心配してたから安心した

[@羽蛾-p4x]

7:47 りょーさん驚く

[@mimiget]

びっくりキャット可愛くて草

[@metboos506]

ChatGPTも紙と鉛筆とサイコロのようなもの　と聞いて、「パソコン（電子計算機）もソロバンに毛が生えたようなもの」を思い出した

[@pihha5204]

？？？「チェスなんてただのマルバツゲーム」

[@kanametatsuya]

次回からもとんでもなく楽しみ

[@hbs5394]

最近ニューラルネットワークの勉強終わった後なので、ちょうどLLMに関心が向いてるところでした！ 次回楽しみにしてます！！

[@ぴろ-m4h]

りょーさん、博士号取ってたのか…。しかもコンピュータ系の(語彙力低い)？？

[@Sごろう-i2p]

僕はうなぎだ って小規模言語モデルが吐き出した文かもしれん

[@hiroyukippp7380]

りょうさんの新情報のコンピュータサイエンス博士号とマキシマムザホルモン歌うって高低差ありすぎてハゲそう。

[@hrsm-chn]

試しにGPT‐4oに「非文を言って」と頼んだら非文を生成してくれました。かしこい

[@komi3032]

絶対trpgやるのに使えるから買ってええやろって気持ちで100面ダイス買ってる

[@sorrycomment]

優秀な専門家になんちゅー照明の当て方（笑）

[@はなまさきとう]

10:53 d100助かる

[@ねんネんころリ]

球に近いサイコロ止まらなくて亡くなった話好き

[@watashi-wa-tawashi]

殺すな殺すな

[@例のあきやま]

つまり、マキシマム ザ りょーさんはホリモトモリモトミズノジズノってコト？

[@atp-e9j]

"The Female Student" captures the emotions of a young girl as she experiences a day filled with various moments, waiting for happiness that arrives a night too late.

[@シンラ-c9n]

やったー！ やって欲しいと思ってた題材がついに！

[@秋吉雪]

李さん！

[@ぱんぷきん-i5k]

りょーさんって何者かとずっと思ってたけど 自然言語処理の専攻だったのか...！

[@tamarind_kingdom]

りょーさん、そんなにつよつよの方だったのか…

[@lyz_2151]

堀元見が「効率重視の世の中はよくない」とか言うんかよって笑ってたら即突っ込まれてて更に笑った

[@koi506]

数理モデル回に倣った例の福音書スタイルですね。

[@KT-xz9ys]

機械学習のちょうど良い骨太本を探していたので早速購入いたしました！

[@天才の証明]

りょーさんそっち系だったんだ その本読んだことあるかも

[@天才の証明]

これ、これから自然言語処理やる学生には良い刺激かも

[@ryuukarinn]

ちょうど自然には来ないものが組み合わされる可能性が高い、気持ち悪い芸術を出力する生成AIを作ってみようと思っていたところなので助かりました！

[@sirius8203]

3:53 調べたらえっっぐい経歴出てきて笑う

[@you-cm6jx]

りょーさんのカラオケ見たすぎるw

[@kuma056]

当方 アナログゲーマー 100面ダイス。別名ゴルフボール 完全にネタアイテム。なかなか止まらないし、止まったところでどれが一番上かもわかりづらいしで、実用性はない。 普通は、10面ダイスを10の位と1の位の2回(または2つ)振って1〜100の乱数を作る 4面ダイス。別名マキビシ 図形としての抜群の安定度のせいで、全然回らない。 手からスライドしてそのまま落ちるようにも見えて、イカサマ疑惑も出るくらい。 気にする人は 4k面ダイス(kは2以上の整数)の出目dを d mod 4 (ただし、0の場合は4とする) や flloor( (d-1)/k) + 1 で変換して代用する。

[@mos399]

次回のCWEも楽しみです。 なるほど！あいまい検索の精度が上がるんですね。 ちなみに、プロ将棋棋士の谷合先生がBERT を使っていわゆる将棋AIを作った動画を観たことがあります。将棋盤(81字詰め原稿用紙と言えなくもない)や駒台に駒(単語そのもの)が配置された状態を文章に見立てて学習させたそうです。人間と違い、妙手と(時折)珍手が織り混ざった面白い棋風でした。

[@----___----___----___----___--]

あのヨビノリさんの動画で作ったソフトをさらに進化させて、今年の世界コンピュータ将棋選手権に出場されています。 しかも決勝ラウンドまで進出し、8位と見事な成績を納めてびっくりです。

[@mos399]

続報を教えてくださってありがとうございます。 素人目には「角筋(例えば88から22玉を覗く)なんかは81字詰め原稿用紙でいうと61文字も離れてる。さらに79に角を引いて24で角交換を狙う筋とも10文字も離れてるのに、transformerの中ではどんな評価関数なんだ？」と不思議です。例えるなら、谷合先生のpolonaiseが「ページ左下の文末から右上の文頭を推定する」という独特の読書術を持っていることになりますよね。

[@kats-ch]

最近AIイラストを始めましたが、ど文系なのでpythonやpytorchはなんじゃーとなりましたが、Stability Matrixというソフトが全部代わりにやってくれるので何も考えなくても出来るようになったのを思い出しました。

[@foxface120]

12:05 型を間違える水野さん

[@daibun2001]

コンピュータ博士って自称するのめちゃくちゃかっこいいな

[@HACKIE300]

李凌寒, 鶴岡慶雅, 対訳データを使わないマルチリンガル表現学習に必要な分布構造とは何か，言語処理学会第29回年次大会 (NLP2023), 2023年3月. (最優秀賞)

[@スイッチセブン]

18:58 読書メモ×　野菜メモ〇

[@ぺさぺさ]

専門家が体調不良にならなくて良かった！🐱

[@ぺさぺさ]

ChatGPTに問いました🐱 自分: 「僕はマウスができない。」 この文は自然ですか？そして、この文をもっと自然にするとどうなりますか？ ChatGPT: 「僕はマウスができない。」という文はやや不自然に感じます。「マウスができない」という表現がわかりにくいからです。おそらく「マウスを使うことができない」や「マウス操作ができない」と言いたいのだと思います。 もっと自然な表現にすると、以下のようになります： 「僕はマウスを使うことができない。」 「僕はマウス操作ができない。」 状況によっては、もう少し具体的に言うこともできます： 「僕はマウスの操作が苦手だ。」 「僕はマウスを使うのが難しい。」 これらの表現の方が、より自然に聞こえるでしょう。

[@ぺさぺさ]

ちなみに「できる」には「作れる」の意味もある気がします(「赤ちゃんができた。」「AGIができた。」など)。

[@kentoo_1]

りょーさん多才すぎる… LLM入門積読してます！いつか読む！

[@Anliy-i1n]

新聞記事をクリップして、死蔵させていたけど、これで掘り起こせそう。（活用できるかは別）

[@趣味-d3g]

最近の推しチャンネルがお互い知り合いで笑った

[@atp-e9j]

もといという単語辞書を引く正確に理解するため、元に戻すということらしい。ごめんね。ってことじゃないみたい。軍隊用語日本に現在あるのは軍隊みたいな自衛隊

[@kemukemu8080]

他チャンネルKZbinr兼他IT企業社員を招いてNotionプロモーションするコネクティングチャンネル

[@天才の証明]

大学の教科書あるある 入門がムズい

[@koba3396]

100面ダイスは浅い箱というかトレイの上で使いますよ

[@uwsc1]

70億パラメータ学習させた大規模言語モデルでもinstruct tuningしてないやつは水野AIみたいな回答する

[@atp-e9j]

生成AI今はトピックパンケーキより流行ってる初歩のラジオなんて言う雑誌が昔あった。初歩のAI

[@crackedman1636]

パソコン博士と茶化しナスとポテト

[@user-MizumasiGohanKansokusha]

Notion きたー！

[@hisenkei]

直前の単語だけが次の単語に影響するという表現は語弊があるような

[@ZAP_Ruuuuuu]

キャー！リョーサーン！

[@Jinkei2016]

月額10ドルでアカウントを研究室で共有して良いんだったら科研費で買えそうなら普通に良いかもしれんね

[@graph23]

学校の先生が、「”〇〇入門”というタイトルは、”入門と入れないと売れませんよ” と言って出版社の人がつけるので信じてはいけない」と言っていた^^; 遷移モデル、mecab で分解して統計とればできるかな？！と思ったが…そういうモノはChatGPTとかのはるか以前からあった気がする。 ただ、なかばロスト テクノロジーになっているかも（少なくとも書籍としては本屋さんには並んでいないし、在庫もないかも）

[@mos399]

なつかし〜 mecab+solrでサジェスト(ECサイトで良くある「これ買った人はあれも買ってます！」みたいな)を試したことがあります。出現頻度による重みづけなので近いですね。 次の単語を予測するには他にもベイズ推定もあって、日本語予測変換はこちらと聞いたことがあるような、ないような

[@atp-e9j]

公衆電話の色も辞書以外ではもうわからない。赤青黄色緑グレー黄色から100円玉が使えるようになった74年ぐらいかな？黄色はプッシュ式ダイヤル式もあったんだろうか？

[@浦雅貴-g9v]

chat GPTとか、人工無脳感があるなと思っていたのですが、何となく理由が分かりました。覚えた構文をそのまま出力するんじゃなくて、単語レベルに分解して適当に選んでたんだ。

[@atp-e9j]

昔、大きな会社で今君何階にいるのという言い方があったみたいです。その人はすでにやめていました