ニューラルネットワークの仕組み | Chapter 1, 深層学習（ディープラーニング）

この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。
チャンネル登録と高評価をよろしくお願いいたします。
近年さまざまな分野で成果を出しているニューラルネットワーク。神経細胞を模したニューロンの多層構造による深層学習（ディープラーニング）の仕組みについてのシリーズの第一回です。
誤字訂正
14:16 バイアスのベクトルの最後の添え字はnではなくkです
編集
シリーズ第1回のみ英語版で赤緑の色分けになっている箇所があり、日本語版では青緑の色分けに変更しています。
線形代数シリーズ
• 線形代数のエッセンス
Michael Nielsenの本
goo.gl/Zmczdy
github.com/mnielsen/neural-ne...
Chris Olahのブログ
colah.github.io
For those of you looking to go even deeper, check out the text "Deep Learning" by Goodfellow, Bengio, and Courville.
Additional funding for this project provided by Amplify Partners
Lion photo by Kevin Pluck
日本語版Twitter
/ 3b1bjp
元チャンネル（英語）
/ 3blue1brown
元動画（英語）
• But what is a neural n...
----------------------------------------
英語版翻訳元チャンネルの支援
/ 3blue1brown
アニメーションはmanimで作られています
github.com/3b1b/manim
英語版公式ソーシャルメディア
Webサイト: www.3blue1brown.com
Twitter: / 3blue1brown
Facebook: / 3blue1brown
Reddit: / 3blue1brown
----------------------------------------
Music by Vincent Rubinetti
Download the music on Bandcamp:
vincerubinetti.bandcamp.com/a...
Stream the music on Spotify:
open.spotify.com/album/1dVyjw...

[@user-do8bb4iy8r]

「チャンネル登録してね」ってありとあらゆるyoutubeチャンネルで聞いてきたけど、この動画が一番オシャレに言ってると思う

[@whiterabbit5410]

このコメントがオシャレすぎて動画を最後まで見る気になった。

[@mizuchin36]

確かにです🤣

[@pascal_Boy]

Japanをみてから、もとの動画みにいくと 英語の勉強にもなる…素晴らしきかなこのチャンネル

[@ano5041]

どう？英語の勉強捗ってる？

[@wswsan]

ニューロンのあの関数そういう考えで作られていたのか 非常にわかりやすく作られていて助かる

[@user-uy6th5ul3h]

次回動画がめちゃ楽しみです、ありがとうございます！！

[@Rhinecanthus]

めっちゃありがたり。ありがたすぎる、英語版見てる時からずっとこの音声付き日本語訳を待っていました、本当に嬉しい ありがとうございます

[@umi9217]

めっちゃ良いタイミングで動画きた！！ 勉強しないといけなかったんで助かります

[@nacuraight]

常々表現の巧さに感嘆させられていたが 今回は加えてカリキュラムの巧さに感動を覚えた 「ニューラルネットワーク」大きな言葉のブラックボックスに隠された原理をわかりやすく説明しながら その莫大で不可能とも思える計算量を解決する発想は過去の線形代数の動画にあったという 理系学生全員にこの動画の面白さが伝わってほしいという強い情動に突き動かされる

[@sandvinyl]

細かく丁寧な解説で分かりやすくてありがとう😊🎉

[@g5161431]

過去みてきたどの動画よりもわかりやすい。 ずっとイメージしづらかったことがすっと入りました。 ありがとうございます！！！

[@ptptsoushu]

今まで見たニューラルネットワークの説明で一番わかりやすかったです。ありがとうございます

[@jumnn]

5,6年前に深層学習の分野に携わっていたのですが、このチャンネルをその時に拝見したかったです。 当時の私に届けることはできませんが、今の私はとても興味深く拝見させていただきました。

[@user-hf9eq7uh5i]

楽しみがひとつ増えた

[@ta-fw6gx]

ちょうど今日の昼間にこれの英語版を字幕で観てたとこ！　めっちゃタイムリー！　日本語版ありがたい！

[@Chisataki-is-god]

待ってました！

[@wa-i]

この動画、日本語化待ってました！！

[@user-ij9it7vo3n]

Programing言語で数式を書けば数学に疎くても理解できる内容ではあるんですが、 数式で脱落している人は多いでしょうね。 あと、重みとは丸と丸をつなぐ線分のことなんですが、理解できてない人もいそうな気がします。 実際0層目(入力)から1層目を出す式はこんなもので極めて簡単です。 node // 動画上の◯ weight // 動画上の線であり重みであり記憶 node[1][0] = Sigmoid( bias + weight[0][0][0] * node[0][0] + weight[0][0][1] * node[0][1] + weight[0][0][2] * node[0][2] + ・・・ + weight[0][0][N] * node[0][N] ) node[1][1] = Sigmoid( bias + weight[0][1][0] * node[0][0] + weight[0][1][1] * node[0][1] + weight[0][1][2] * node[0][2] + ・・・ + weight[0][1][N] * node[0][N] ) ・ ・ ・

[@Ryon_P329]

とんでもねぇ複雑なもんをすげぇ簡単に教えて貰ってるのに、それでもすげぇ難しいからちゃんと理解するのはほんとに大変なんだろうなって思う ましてや開発した人はバケモンやろ

[@user-db3zb5ci5w]

他の動画もだけど本当に分かりやすい

[@t.s.868]

これ気になってたので助かりました！

[@mtaka84219]

何これ、マジで死ぬほどおもしろい。この動画の構成を考えた人は天才。

[@shiro_teacher]

説明が美しい、いつも勉強になります

[@user-fn2xd6vu5q]

待ってました！！

[@user-slashed-O]

これの日本語版見たかったから助かる

[@user-ck5mu6mg3s]

これはマジで助かる

[@torikkuru]

プログラムに落とし込みたかったのでめちゃくちゃ勉強になりました。

[@user-td9pk7bz6k]

配信ありがとう👍

[@user-jp7gx1fd7k]

自分も独学で勉強してるのですが ものすごくわかりやすいです

[@user-zm9mr1op8v]

オチがチャンネル登録への誘導になってるの感動した

[@256yayo]

やはり説明が良い。 あと声がいい。

[@user-ye8bs2uo3m]

学生時代に出会いたかった…！ 素晴らしい動画！

[@Rhinecanthus]

終わり方がメタすぎて面白い

[@wahaha-_-]

これ丁度知りたかったからめっちゃ助かる

[@Kakuseino-Tamasi]

俺も丁度この事を夢で考えてから目覚めたから助かる

[@ano5041]

俺は一年ほど前から知りたかったけど助かってる

[@YS-rs4cp]

ちょうど切らしてた

[@user-zc4ly6qt7d]

俺も大学院でニューラルネットワーク使ってるから助かる(マジで)

[@user-lr6tk3te1h]

大学院でやってるのに この動画で助かってるの 修了できるか不安

[@user-ec5yd5xk3l]

なんてわかりやすさ、、、、、😮

[@akatuki_me2]

ほんと助かる

[@chaeyoung750]

このチャンネル、中身も興味深いけど声とBGMがほんとに心地よくて好き

[@kabo2767]

アニメが非常にシンプルで、非常に分かりやすい！ GPUが売れるのも頷ける。

[@sankaku813]

活性化関数が何をしているのか、よく分かりました。ありがとうございます。

[@tkma]

このシリーズやってほしかった!!

[@user-cd6ih8fh7u]

マジでこの世界ってすげぇなぁ。。。

[@user-dy2vh6ki4l]

大学でほぼこれと同じ数字認識のAI学習（OCR）を、jupyter上でコード書いて学習させて試すって一連の講義をうけたけど 正直言われた通りやるだけで、間に何が起こってるかわからなかったわ これは非常にわかりやすい

[@ano5041]

わからない状態でもとりあえず手を動かすという学習方法は、生徒が受け身の姿勢だとうまくいかないからね 自分から学ぼうという姿勢が生徒自身にないとうまくいかない

[@ussee-ussee-usseewa]

@@ano5041でもこの人は実際に興味を持ってここに来ているけど授業では分からなかったから教える側が悪いと思う

[@ano5041]

@@ussee-ussee-usseewa 「正直言われた通りやるだけで、間に何が起こってるかわからなかった」という経験が興味を持つきっかけになっている可能性もある

[@mk.248]

最後のオチの説得力

[@yu-qf8pq]

なめらかなシグモイドより閾があるReLUの方が上手くいくのちょっと意外性あって良い

[@user-wc8yt8cm6c]

これが日本語訳で観れるありがたさ……

[@wd.eclairgreen]

このチャンネルの線形代数のChapter1でベクトルはコンピュータサイエンスの視点では数のリストであるって言ってたのがこういうことね。伏線が回収されたみたいで嬉しい

[@user-jg9mk8vw7v]

ナレーションが心地よい

[@ki6893]

手書き数字の分類や平均顔の話は、初めて論文読んだ時驚きましたねえ…

[@eggmanx100]

何が凄いって、ニューラルネットワークの仕組みが自然に人間の脳の中に作られたということだな。

[@mizuchin36]

勉強していくと点と線が繋がって急に理解できることがあるけど、これはニューラルネットワークをイメージするとすごく納得いきました。 そしてSigmoid関数ではなくてReLUの方が上手く行くのも、実際の脳の仕組みと近いからなんだろうなと感じました。

[@user-wy2lj6bz1t]

続きが気になりすぎる

[@ikatakomaguro534]

任意の非線形関数は線形関数の線形結合で近似できるということかと思ってたが、実際の動きに落とすとこんな感じなのかなと何となく思ってる

[@comtam3602]

線形代数のときもそうだけど、 このチャンネル履修終わったあとに出るんだけどw 一年生が羨ましい。

[@user-gi8eg3qv7n]

めちゃんこ面白い

[@yossansan4337]

ここまでわかりやすいと、SIMDとか並列処理の話もしてほしくなりますね...

[@elinafurukawa224]

この丸にかかるケイセンの重みづけだったかなが学習理論かなって思ったの覚えてます。

[@alogarithm]

深層学習はオライリーの書籍がすごくオススメ。 実際にこの動画で扱っている手書き数字のデータセットを使ってモデル構築・予測するところまでTensorFlowを使って理論立てて実装できます！

[@ano5041]

TensorFlow 公式のチュートリアルで十分な気がするのだけど… そのほうが無料でできるし、Google Colabのノートブックも用意されていてコピーして容易に動かせたりする

[@Cthulhu-l_-n-_l-b]

計算とかめっちゃ苦手だけど、考えめっちゃ面白い

[@IM-vu4gj]

ゼロつく1から4まで読んだら大分理解できるぞ

[@eeee4767]

これの逆ならなんとなく知ってたけどこっちのやつは初めてみました でもいま解説するなら逆が知りたい気もする

[@user-be9cc3ht9p]

こんなにも高度な「チャンネル登録おねがいします」初めて見た

[@user-en3ji8lf2h]

図形認識においては、ピクセル認識ではなく、ベクトル認識させる事は出来ない物か･･･ そんな風に夢想する昨今でございます。

[@usagioishikanoyama]

ReLUではアクティベーションを0〜1に押し込めないように思えるのですが問題ないのでしょうか？ また、ReLUの方が計算コストが低そうですが、シグモイド関数よりも後に使われ始めたのはなぜでしょうか？

[@ano5041]

実際に ReLU を使ってみると精度がいいので問題がないことがわかると思う。 シグモイド関数よりも後に使われ始めた理由は、単に思いつかなかっただけかな。 過去の人達も「なんとなく、活性化関数は0〜1に押し込めたほうがいいと思うからシグモイド！」と思い込んでいたのかもね。 その思い込みによって、無限に大きくなる可能性のある ReLU を思いつかなかったとかかも。

[@usagioishikanoyama]

@@ano5041 ありがとうございます

[@comtam3602]

シグモイド関数は滑らか! 微分できる。 ReLUは滑らかじゃない! 微分できない! 場合分けがいる。= めんどい 補足…ニューラルネットワーク(NN)は学習するごとに毎回ウエイト（バイアス含む）を変えます。そして誤差を少なくしていきます。次回のNNでは今回よりも誤差を少なくするために、ウエイトを大きくするか、小さくするか、の選択をしなければいけません。この選択肢は、誤差の傾きを見ることによって、決定できます。このとき微分が必要になります。

[@n4tua763]

出力層では0～1に押し込んだほうが都合がいいので、出力層だけシグモイド関数を使ったりします。他にも-1～1に押し込むtanh関数もよく使われます。

[@wswsan]

14:16 ここ b0...bn だとW*aの計算後に出る列と合わなくないですか?

[@user-es4ug4gl8b]

kだね

[@daisuke3388]

Quote ´When your brain is smarter than yourself´

[@user-bo5zv6ug9j]

おもしろい

[@Danboorukun.]

絶対に使う気がしない知識だけど、こういうのって知りたくなっちゃうよね

[@ano5041]

数年後は使ってるかもよ

[@houbeki]

次が待てない方はSONYがKZbinで出しているニューラルネットワークの動画がおすすめ

[@tomoyakamimura]

まだ、東京大学のコンビニで暗記パンって売っているの？本郷校舎の前にある黄色い海鮮丼屋さんもあるのかな？おいしいよね。いつも楽しい動画をありがとう。

[@mariko6001]

銀はち！！！

[@FoxInFlame]

駒場キャンパス駅前のマックは残念ながらもう無いんですけどね…

[@xjoo92-fan]

しかし v (ｳﾞｲ)アルファベット ν (ﾆｭｰ)ギリシャ文字 の見分けができる気がしない

[@loop_construct]

つまりはアキネイターの魔人がいっぱい居るようなものなのかな

[@taitai1222]

研究室時代に出して欲しかった笑笑

[@user-sf9lh1pc6u]

書き順を想像できるプログラムができたら簡単な話なのですがね

[@cooper7003]

ニューラルネットワーク… 昔、LONってあったよね

[@user-dg9pm5bw1x]

動画一覧画面でスクロールすると、この動画のサムネだけ、スクロール止まった瞬間に動き出すように見える。なんかの錯視？

[@SS-xh3em]

ディープラーニングがより進化したら、ロボットじゃないこと証明するぐにゃぐにゃ文字入力意味なくなっちゃうよな

[@user-uf7rx3wg8w]

次の人生ではこういうのがわかりたい

[@ano5041]

今何歳？

[@coffeemilk6347]

メモ　7:30

[@PridePotatoPig]

やっぱり日本語訳あるとわかりやすい

[@user-xm6kb4pz2p]

oh😊

[@tamotsustop]

12:21 誤って5億年ボタンを押してしまった際はこれで時間を潰そうと思いました

[@user-sx9rh6ny8l]

チャンネル登録のくだりメタすぎて草

[@takek9215]

未来の教科書

[@user-hy9kq8qf1n]

11:08 難しくなってきた

[@user-bv4hp9gz2j]

オススメに出てくるようにチャンネル登録してねだってさ！ キザだわ〜〜〜！！

[@npsum-tm8ly]

MNISTだ!!!

[@npsum-tm8ly]

二値分類の損失関数を二乗和誤差で解いてた二年前の自分に見せたいw

[@user-dc1pj1mz3t]

35年ほど前にバックプロパゲーションが話題になりました。パーセプトロンが線形のパタン認識しかできなかったものが非線形でも認識できるようになりました。画像認識では、パタン認識以前の前処理が最も困難です。例えば数字認識でしたら、20桁の数字を1数字づつ分割するような処理です。明瞭な画像でしたら古典的なセグメンテーションで可能ですが、コントラストが悪く数字同士が接触しているような場合です。ディープラーニングは最適化手法の一種ですが、やはりGAの方が能力は上だと思います。特徴抽出をNNに行わせるのは邪道と考えます。画像認識研究歴45年、査読付原著論文250編を発行している科学者の戯言です。

[@tts-th3mc]

30年以上前から研究開発されていたバックプロパゲーションだな、いつの間にかディープラーニングと呼び名が変わったが😪 当時はハードウェアがショボくて処理速度が遅く、中間層1層だけの3層で、それでも画像処理なんかに応用した特注品を作ってた会社もいくつかあったが🤭 ここ数年は処理速度も当時とは比較にならんほど上がり扱えるデータ量も飛躍的に増えて、中間層を増やしてもそこそこの時間で学習させられるようになり、応用実用の目途が立ってきたということだな、やれやれ😮‍💨 しかし、どうやって入力に対する回答を導き出しているのかが分からん不気味さは無くならんし、突拍子もない頓珍漢な回答を出してくることもある、それは良いが有得そうで間違った答えを出されるのがかなわんな、例えば医療AIで間違った診断を出したりなど、まだまだ最終判断には(専門の)人間が必要だな😩

[@user-bl2zf2mh3g]

いいねーさいけう

[@user-ez3nc5vi5n]

オライリーの本でがっつり勉強したけどこれ見てから取り掛かったらもっと理解早かっただろうな。まじで良い動画。

[@ikatakomaguro534]

任意の非線形関数は線形関数の線形結合で近似できるということかと思ってたが、実際の動きに落とすとこんな感じなのかなと何となく思ってる

[@ano5041]

この動画によって、線形関数の線形結合で近似できるということが間違いだと理解した、ということ？