深層学習の仕組み, 勾配降下 | Chapter 2, 深層学習（ディープラーニング）

Рет қаралды 108,200

3Blue1BrownJapan

Күн бұрын

Пікірлер: 60

@飽き性-h7n Жыл бұрын

3:43「こら！この出力は殆どのニューロンが0で！このニューロンだけ1になるようなアクティベーションになってないとダメで！」まではそこそこ怒ってるのに、「君の出した答えは全くのゴミです。」で急に冷静になって耐え切れなかった。

@Cab_Kavun Жыл бұрын

確かにwwww

@Official-jf3ey 11 ай бұрын

これまじ笑った

@Gattinolinks641 10 ай бұрын

同じく電車の中で吹き出してしまいましたw

@オレオ-k8k 7 ай бұрын

うちの教授とおんなじようなキレ方

@たかや-d5p Жыл бұрын

とても興味深い内容です次の動画も楽しみにしてます！

@mtaka84219 Жыл бұрын

なんなのこれ、死ぬほど面白い。これが無料でいいの？日本語化してくれた方々にも感謝しかない。バックプロパゲーションくるー！

@佐保田明典 Жыл бұрын

これを見て、将棋のAI（ボナンザ、だったかな？）開発者が、「コンピューターに何を教えたかはわかるが、何を考えているのかはわからない」って言葉の意味が分かった気がします。

@n4tua763 Жыл бұрын

自分が習った順番とは少し違うので違和感がありますが、初学者にわかりやすい順番で解説されてらっしゃるのだと思います。内容はとてもわかりやすいです！コスト関数がゴミですっていうのが面白いし直感的！

@LifshitzLandau Жыл бұрын

この情報が無料で得られる事に驚いた。

@npsum-tm8ly Жыл бұрын

深層学習は天下り的にできるから理解しやすいんだよなあ正直2年前の自分はガウス過程とか避けてた

@npsum-tm8ly Жыл бұрын

LSTMも出てくるのかもしかしたらTransformerもあり得るかも???

@carbo1223 Жыл бұрын

突然ゴミ扱いされるネットワーク君かわいそう（かわいい）

@糊化コーラ Жыл бұрын

かわいそうはかわいいをネットワークにも見出せるのか…

@a___run Жыл бұрын

クールジャパン

@nagrytalkie Жыл бұрын

大学の講義でつまずいた時に見つけてとても分かりやすかったです次も楽しみにしています

@dedensya1 Жыл бұрын

局所平衡の解も最適解も大して変わらなかったって話ね。結局学習データの質なんですよ。難しい事は何もやっていないのが機械学習の真髄。

@mushimaru1959 Жыл бұрын

この動画を見みたうえで他の動画を見ると理解度がおそろしく上がります。初学者にとても良いです。日本のAIレベルの底上げにつながると思います。ありがとうございます。一点教えてください。動画の中で説明している誤差伝搬法はどの動画で説明されているのでしょうか？

@ろーたか-e1o 11 ай бұрын

先ほど動画が上がりましたよ

@poormanch Жыл бұрын

動画最後のおまけが面白過ぎる…　へぇ。

@gliese581g2 Ай бұрын

実際にNNを使わなければならなくなってから、如何に学習データの量と質が重要かということを実感しました

@PGW90RU14 Жыл бұрын

とても勉強になりました。ところで、ランダムな画像を与えた時に、何らかの回答を出力するという点についてですが、それは数字を表していない入力に対して「それは数字ではない」という出力を期待する学習をしていないからではないか、という気がします。たとえば真っ白な画像を与えた場合に０～９のいずれに対しても０という出力を正解として期待し、０から９までを重ねて書いた画像に対しては０～９に0.1を出力することを正解として期待するような学習を行っていないから、ではないかという気がします。端的に書くと、教えていないことに対して、正解を出力することは有りえない、ということで、それは人間であっても理論的にそうなる話だと思うのです。どう思われますか？

@ろーたか-e1o 11 ай бұрын

横から失礼しますここでおっしゃる「教える」というのは，教師データ（ラベル付けされた学習データ）を与えるということですよね？この動画で扱っているようなニューラルネットワークは正解をラベル付けした教師データが必要なので，人間は「教えられたことしかできないのでは」という問いですよね．人間はラベル付けされた学習データ，つまり，過去の経験を膨大に持っているので，明示的に教えられていなくても，自らモデルを作成して学習できると思います．つまり，「教えられてないけどやれる」状態ですね．さらにいえば，人間は「正解を疑う」ことができるので，自ら説明力の高い学習データやモデルを作ることで，教えられていないことに対して正解を返すことはできると思います．もちろんそういう人間ばかりではないので，中には「教えられないとやれない」人間もいると思います．これは，自らモデルを作成する能力がないのではなく，周りが「教えて」くれるので，その必要を感じていないからだと個人的には思います．

@PGW90RU14 11 ай бұрын

@@ろーたか-e1o それを問うているのではないのですが、それは別として、人間は環境からの刺激を入力として与えられr、それに対して行動し、その結果を正解として学習しており、その範囲の中で行動していると私は思います。

@Milepoch 9 ай бұрын

AIはきっと人よりずっと寿命が長い、人よりずっと長く学習できる人の存在意義が消失する瞬間に立ち会った感が怖いもし我々が神に作られたモノだとしたら我々はAIとして作られた人類の存在理由が関数で記述できてしまう・・・数学の無限も感じる、莫大な計算量が可能になって数学はさらに先に進むそろばんや電卓ではどんな天才でも思いつかなかったろう世界こんな動画を誰もが見られる事自体がもうね、すごい時代だよね

@全動画にコメントするch 9 ай бұрын

この辺を理解し切れないと想像の映像化はできないんだろうな

@ggl1230 Жыл бұрын

動画見て思ったが画像認識AI君が90°回転させた画像だと全然認識がダメになる理由ってインプットする行列の順番が変わってしまうからなのかな？（人間の目だと問題無いけど）

@ano5041 Жыл бұрын

その通り回転させた画像を正しく認識したい場合は、回転した画像を学習させる必要がある機械学習は学ばせたこと以上のことは出来ない

@PGW90RU14 Жыл бұрын

残念ながら、人間の目も回転させた画像を、元の画像と同じように認識はしません。それを実感する一番簡単な方法は、１８０度回転させた顔を、写生することです。殆どの人は、さかさまの顔を正確に認識できません。

@npsum-tm8ly 9 ай бұрын

一応動画だと全結合層だけで使ってるからそれであってるかな.ただ畳み込みニューラルネットワークってやつに回転対称性(と平行移動での不変性はもとから畳み込みで得られてるし,あと鏡映に対しても不変にしてた気がする)とかを与えることができるようにしてる研究とかあったと思うよ(帰納バイアスの問題)

@乃乃乃乃乃naonao 4 ай бұрын

17:40 最後の間違ったラベルを付けて学習させてもうまくいったってのは、つまりライオンの画像を見てフォークと分類できるようなモデルが作れたってこと？

@haru-n3u Күн бұрын

元動画を見たけど学習データに対する予測精度は正しくラベル付けした場合と同程度になるということらしい当然テストデータに対する予測精度は低い

@aaa_1214 Жыл бұрын

なるほど、現状の深層学習の仕組みは言語学でよく言う所の｢記号のメリーゴーランド｣に過ぎないわけだ。記号を別の記号によって判別しているに過ぎないため、現状のAIは、言ってしまえば我々の考える(SF的)AIのような何かに過ぎないのでしょう。現代の言語学では人間特有の認知能力として｢アブダクション推論｣が言語習得に大きく寄与していると考えられている。特に、与えられた記号Aが別の記号Bを象徴することに対し、記号Bが記号Aを象徴するという推測が立てられることである。(論理学的には必ずしも真ではない) このある種、非-論理的な人間的思考を如何に機械化するかが今後の課題であるような気がする。

@ano5041 Жыл бұрын

ランダムな画像を数字と認識してしまう問題、出力層のノードを一つ増やして、それに「無効」という意味を持たせれば解決できるのかな？

@ano5041 Жыл бұрын

でも無効な画像のパターンなんていくらでもあるし、正しく学習させるのが難しそう

@goc-2611 6 ай бұрын

@@ano5041ノイズを作って突っ込んで判定漏れを再学習？

@lonakoyahepl389 Жыл бұрын

3:43 ひどい…

@まめもやし-u9r Жыл бұрын

ウォーーーー！！！勾配ベクトル！！講義でやったヤツだ！！

@まさぽこP 5 ай бұрын

正しく構造化されたラベル名前なら早く結論に辿り着くってことから、日本語が難しい理由に構造化されていないってことだと思うんだよね。扱いやすくするために名前を付けるんだけど、昔の日本人は島国で井の中の蛙だから遅れている。近年はインターネットによって正しい名前付けが浸透してきたから、変な解釈になる内容は構造化して分類分けされてるんだろうね

@カヤニャルノラネコ Жыл бұрын

良い動画

@ねこまんま-q6p Жыл бұрын

ディープラーニングは、間違い学習の修正が難しいのです。修正用のプログラムを作ったり、再学習処理を作ったり面倒でした。

@ato1pon Жыл бұрын

こういうグラフというか…　突き詰めると脳細胞に似てるな〜って

@ああ-k7o9i 4 ай бұрын

5:20 なぜコスト関数の入力が1万3千と説明されているのでしょうか？ニューラルネットワーク側の出力の数、つまり10という数がコスト関数側の入力数になるのではないですか？

@いした-b7o 4 ай бұрын

あまり自信はありませんが、回答させていただきます。前提として28×28ピクセルの数字が書かれている画像を認識させることが目的です。 Chapter1の動画で数字を円や線の基本的な形に分解して数字を判別することを考えています。そこで4つの層に分けて判別させることを考えます。（この4つは動画の説明のために少なく仮で設定しています。）1層目は写真を28×28=784の1個1個のアクティベーション（白黒の強さを0〜1を0.01刻みで表したもの）で表した層。最後の4層目は数字を0-9で出力するものですね。 3層目は数字を円や線の簡単な形で表現したことを考える層です。 2層目は3層目で円や線を認識してもらうためにより細かくどこに円や線があるか（上下左右）を判定する層です。また、各層で移動する際にバイアスというもの（説明は前回の動画みて）を考えます。ここからが本筋になりますが、1層目は784の入力があり、それを16個の円や線のパターンとして認識させます。（実際にはもっと多いですがここでは動画用に以下略）なので784×16=12544 2層目から3層目も同様に考えます。 3層目も16パターンあると設定すると16×16=256。そして最後は10個の数字のパターンにわけるので、16×10=160。これらの合計は12960。バイアスは1-2層目は16。2-3層目は16。3-4層目は10。よって合計は42。よって12960+42=13002となります。求めている回答と違ったりトンチンカンなこと言ってたらすみません。

@ああ-k7o9i 4 ай бұрын

@@いした-b7o 返信ありがとうございます、そこは理解できておりましたコスト関数の入力にニューラルネットワークの出力ではなくパラメータを用いる事が理解できずにいます... （ニューラルネットワークの出力-ラベル）^2の平均がコスト関数の出力ではなかったのか？という意味です

@いした-b7o 4 ай бұрын

@@ああ-k7o9i ⁠ 返信ありがとうございます。それは恐らくニューラルネットワークの出力は結局のところ13002個のパラメータによって定まるため、13002個の入力と言っているのだと思います。回答になっていますでしょうか？