【要注意】情報エントロピー計算できないプログラマーは絶対見て下さい。

Рет қаралды 2,032

Күн бұрын

#気軽にコメントお願いします #コンピューターサイエンス #プログラミング #エンジニア
-------------------------------
このチャンネルでは、コンピュータ関連の技術を解説しています。
不定期更新なので、是非チャンネル登録 & 通知設定をお願いします！
◆ 私立KZbin高専とは...？
『実践的・創造的技術者の養成』をする高専として、主にKZbin上で活動する高専です。
流行り廃りの激しい技術の世界でも、10年後も価値のある技術・時事ネタに絡む技術を解説します。
詳しくは、こちらをご覧ください。
youtube-kosen....
◆ 校長先生は何者なの...？怪しい...
高専 ⇨ 東大卒業後、民間企業で働いた後、KZbinにて高専を設立。
高専・東大・スタートアップ・日系大手メーカー・外資ハイテク企業、、と人生の大半をコンピュータに投下して、学んできた全てをぶつけます✊
【Twitter】
/ youtubekosen

Пікірлер: 18

@すかー-y4e 11 ай бұрын

冒頭の問として、その型が送れる「最大」の情報量と、ある条件下で送れる情報量がごっちゃになってるような気がした。

@YouTubeKosen 11 ай бұрын

コメントありがとうございます！「最大」の情報量を計算するためにも、一定の条件（=確率分布）を仮定する必要があります。例えば、intとfloatでは、情報量が最大となる時の確率分布は異なります。異なる確率分布の下での、情報量を比べる事は、実務上あまりないかなと思います。

@すかー-y4e 11 ай бұрын

@@KZbinKosen あれですね。同じなのは情報量と言うよりは、メモリの確保領域が32個で同じという話ですかね。多分どちらも単位がbitでややこしくなってる気がしました。

@YouTubeKosen 11 ай бұрын

そうですね。物理サイズはどちらも32bitなので、同じと言っていいと思います。情報量を言及する時は、ランダムな1ビット変数（コインの裏表情報）の情報量を1単位として、30ビット"分"というような言い方をしましたが、それをちゃんと説明してなかったので、紛らわしかったかもしれないです。次回からの改善につなげます。ありがとうございます！！

@lotel5865 11 ай бұрын

「頻度が低いほど情報量が大きい」というのは直感にも合いますね。表しか出ないと思ってたコインを振り続けて、あるとき急に裏が出たら「このコインは裏も出るのか」と気づくことができるので。（動画の内容を言い換えただけですが、こう考えることで自分はしっくり来ました）

@YouTubeKosen 11 ай бұрын

コメントありがとうございます。そうですね。情報量は驚きの度合いとも解釈できますね！

@あや-q5t 4 ай бұрын

なんとなく掛け算とか割り算とかを何回かした結果をイメージするとフロートのほうが多い感じはしたけど詳しい解説助かる🤩

@YouTubeKosen Күн бұрын

コメントありがとうございます。次の動画も是非、お楽しみにしてください！

@seokgukim 11 ай бұрын

結局CPUは2進数しか扱うことができないゆえに離散化の仕方に差が発生するってことですね。型には主義しなくちゃ。

@YouTubeKosen 11 ай бұрын

そういうことですね。いつもコメントありがとうございます！

@lennonjohn6297 11 ай бұрын

この動画は目からウロコでした！👀✨ 私はプログラミングを学び始めたばかりで、intとfloatの違いについてはあまり考えたことがありませんでした。しかし、この動画を見て、情報量の本質的な違いとその計算方法について、誰も教えてくれなかった重要な知識を得ることができました。特に、情報エントロピーの計算方法と、それがプログラミングにおける型選択にどのように影響するかの説明は、私のこれからの学習にとって非常に価値があります。この動画を見る前は、ただ漠然とコードを書いていましたが、今は適切な型を選択することの重要性を理解し、より効率的で正確なプログラミングができるようになりました。本当にありがとうございます！これからもこのチャンネルを応援しています。🚀🌟

@YouTubeKosen 11 ай бұрын

いつもコメントありがとうございます。次の動画も、お楽しみにお待ちください！

@sees2050 24 күн бұрын

ここでの議論の本質は、データの発生確率が０〜１の一様分布を仮定したことであって、本質的なfloatとintのエントロピーとは関係ないのではないでしょうか。もしデータの発生確率がこのようにわかっているならば、unsigend intにして、最小桁の重みを1/2^32にすれば均等なサンプリングになるので、そちらのほうが保持できるエントロピーは多くなるように思いますが、いかがでしょうか。

@YouTubeKosen Күн бұрын

ここでの議論の本質は、変数のエントロピーは、そこに保持する値の確率分布に応じて、適切に、選択する必要があるということです。例えば、変数の発生確率がサイコロの目（整数1から6の一様分布）であれば、floatでもintでも、どちらを使っても、エントロピーは変わりません。 Q形式を使えば、エントロピーが増えるというのは、ご尤もです。変数の表現方法が変われば、確率分布は変わります。floatとintの違いもそもそも、同じ物理メモリ上で、値の表現を変えているに過ぎません。