如何理解信息熵

如何理解信息熵?

[@ghtry5]

謝謝老師 講得很好

[@thought-uz9nl]

真的是講得很好，很直觀易懂，非常精彩

[@mamaya2000]

當年只在大學學了霍夫曼編碼，倒是沒學到更基礎的信息熵原理，算是補到課了😂

[@HaozheYuda1989]

我也是来补课的啊哈哈哈哈哈

[@user-yu8fp7lr7h]

我學霍夫曼編碼時甚至沒聽過信息熵😂

[@xinzheng3921]

这两期视频终于让我学明白了熵！讲得真好

[@xhxhs]

谢谢 谢谢😯

[@harveyzhao1267]

课程非常精彩，对数的底数写出来就更规范了，

[@user-zd4vx8uu5o]

感謝~台灣缺少這樣的影片

[@sungkyungchoi]

厉害👍

[@超級無情大熊貓]

喔屋 這不就是jpg的huffman encoding嗎?:D 上課教授沒細講的這邊直接就聽完整了

[@mukaiiii]

得要執行觀察，其信息熵才會出現意義，並且要知道總信息量才知道其傳遞的信息熵log值，否則就像月球一樣，起初不知道有背面。 所以也有可能像前一集高斯板一樣，我們目前所處的熵過於巨大，觀察的物理質量與常數，只是最中間機率最高的值，其他的可能性出現概率極低，低到觀察不到。 隨著時間推演幾百億年，中間那條曲線已近似直線。

[@ahchi4238]

👍👍👍

[@liang3163]

这是建立在半导体的状态只能二分表示（通电不通电）的情况下的，试想如果某种量子能有10种状态（2个量子就是100种组合），那就是以10为底的对数了。 因此限制我们的其实是硬件

[@sungkyungchoi]

二进制是为了更好的传播信号而采用的，但如果量子有10种状态还能传播的话，会大大提高传播效率，如果按照你所说2个量子的100种组合，那么传输100个信息量用2个量子就行了

[@saharasahara814]

我這就把香農的照片定義成桌布去

[@chardwilliam2553]

我以為是薛丁格的貓

[@xer05429]

回味了以前學的 數位邏輯 電子電路學 高等工數 xD

[@2688jojo]

如果機率是複數而且不影響對本質理解的問題

[@Isgostnort]

居然看懂了😅

[@432v01]

如果我們允許一個編碼代表2個以上的字母(甚至是單字)，有沒有可能再進一步壓縮？那個新的極限又會是什麼？

[@leaoduan]

自然对数e吧...这个好像是极限

[@DawnDarken]

越靠近自然數e所需的數量約少，但3進位制因為技術問題而非主流

[@432v01]

我用一個例子解釋清楚一點：假設我們知道the這個字大量出現，所以我允許用一種編碼來直接代表the這個字(而不需要使用t,h,e三個編碼的組合)，透過這種思路能不能進一步減少所需的編碼符號數

[@Mingming_Studio]

聽起來像是rar壓縮檔的字典壓縮法

[@aero841024]

@@432v01 这个想的是针对某种我们可阅读的文本来考虑的压缩，但是这个牵扯到一个问题，就是这个组合集需要多大的编码来表达，当大部分的编码超过了组合长度，这个压缩就木有意义了；现实中还有大量的二进制数据，如果按照这个方法来做的话，基本就很难实现了。

[@飛天柴犬]

1:48 前面如果發送1是高電位，在這個時候要如何發送0? 必須要"發送"低電位，這麼說電線大多只能出現負電壓了? 這種情況下電線狀態其實就有3種：高電為、常態、低電位。🧐

[@liuculiu8366]

简单地理解：通常用0v，也就是接地电压表示0。电信号是连续的，设备通常以固定频率读取电压，那个时刻读到高电压是1，读到接地是0。图中只有一根线，这时需要双方都接地。如果是两根线，则可以用两个电压差来表示，正是1，负是0，双方无需接地了。

[@飛天柴犬]

@@liuculiu8366 好吧，是我想的不夠遠，你說的滿對的。只是對於一些講解的邏輯連結、用詞解釋上比較容易出現誤解（像我這小丑）。

[@liuculiu8366]

@@飛天柴犬 感兴趣的话可以参考数字电子/通信原理/单片机 相关的资料。以我自己的经验看，买个小开发版自己把玩一下是最好的学习方式：）

[@飛天柴犬]

@@liuculiu8366 既然這部影片講的是訊息，那同步訊息是不是也要列入呢？像是啟始訊號

[@liuculiu8366]

@@飛天柴犬 影片里更多是从宏观概念来讲信息熵。实际通信过程中，双方要事先约定好去遵守一个规则，也就是通信协议。不同的协议对初始信号有不同的约定。

[@rumoku1739]

執行可能？

[@marvinterry8654]

8:46 第一行应该是写错了吧

[@user-pm7pp5nn2s]

log的部分 是以log取2為底數的 沒標示底數會以為是10為底

[@b97b01067]

超狂

[@sam66622]

一開始懂，中間不懂，後面又懂了，算正常嗎？

[@Wind_of_Night]

很正常吧！對於某些物理概念，第一次聽絕對不懂，聽N次就懂了～ 剛好突破臨界點～

[@harveyw15]

b站和这里的视频顺序和数量都不一样，请问哪边更全？

[@ele870]

管子这边不会运营，随意发发~

[@hanktoska7474]

@@ele870为什么不运营呀，收益很高诶

[@kimyostory]

@@hanktoska7474 因為b站粉絲更多投幣更多

[@user-ui5rx9hg9r]

可惜我的信息论与编码的书给卖了。没有抵抗住学校的歪风邪气。

[@fmictsang8874]

我數學不好，為什麼8:40的不是 sum (1/pi) log(1/pi) ?

[@user-gk6uh8di6u]

他上面寫錯了，把機率換成了事件數量，這個sigma裡寫的才是對的，

[@wryyyy8108]

@@user-gk6uh8di6u 好像是的，我卡了很久一直想不明白...

[@user-ui5rx9hg9r]

为啥不直接叫信息量，而叫信息熵了。

[@kimyostory]

因為兩者的本質不一樣，信息量是從未知到已知所需要的信息總含量，信息熵是這種信息量的期望值。

[@zylmi]

牛头不对马嘴

[@haowei]

神级文明突破信息熵的限制，直接把宇宙所有数据压缩到一个公式里😀

[@user-bc4ln7qv7m]

md5，crc32这种算法不就是

[@morikon.]

他有不破壞訊息本身的前提 MD5過得去回不來

[@Wind_of_Night]

知識帶著走，電影MIB星際戰警，就有演過了，一個項鍊珍珠，實際上是一整的銀河系一整個宇宙。 多麼驚人的事實，說不定我也是活在一粒塵埃之上的生物，還以為宇宙就是極限了【事實上宇宙比我們想的都還要大很多】。

[@user-ih8ku2rb8b]

😱，我不知道你的想像力是如何想出來的，但是這種想法我看過，我是看了學霸的黑科技系統小說，裡面有一個猜想紀錄了整個文明的興衰。

[@DawnDarken]

錯了，那是以2進位制的訊號傳遞信息時才取2的對數，只是單純其他進位制沒人使用，所以沒人在乎而已

[@ck-dl4to]

三進位的機器可能嗎

[@ck-dl4to]

他是在解釋為什麼機器使用二進位

[@user-pw2tj3mz3g]

那這樣的話1bit就可以有3個狀態

[@user-pw2tj3mz3g]

​@@ck-dl4to舉個例子，gddr6x用的1bit有4個電位，當然他們實際上不是這麼稱呼的

[@Prisoner-24601]

哈 不是沒人使用 而是電路是以高電位與低電位來代表1與0 你用太多電位代表 機器容易出錯

[@BeatriceCastilioni]

没意义，“1代表硬币正面，0代表硬币反面”，是必须大家约定好这个“代表”才能用1和0传递信息。同理，只要我们说好“1代表《远大前程》的全部内容”，那么整本《远大前程》的内容用1bit来传递就足够了。关键在于大家约定了什么，而不是信息要传递多少东西。客观全面的信息总是无穷大的，必须抽象之后才能被人类所理解。需要传递多少信息，取决于你如何抽象这些信息。

[@saharasahara814]

如果你得出這樣的結論說明你還沒看懂

[@BeatriceCastilioni]

@@saharasahara814 是你没看懂。我说的不是结论，而是原本就存在的事实。信息本身就是抽象的产物，如何抽象是由人类相互约定的。本视频的理论都是基于已经按照约定俗成的习惯抽象好的信息，而没有考虑该如何去抽象信息。这本身就是愚蠢的。

[@saharasahara814]

@@BeatriceCastilioni 這個問題不是這次節目的討論內容 歡迎你出一期節目討論這個問題

[@BeatriceCastilioni]

@@saharasahara814 这个问题是否定这期节目的基础。所以这期节目的的讨论内容和眼界是无法达到这个高度的。

[@saharasahara814]

@@BeatriceCastilioni 如果你有更好的理論，寫成論文發表出來一定會對學術界有莫大的幫助。如果寫論文對於你來說有困難，你也可以在頻道內po出來討論。如果你實在太懶，可以像費馬那樣以書角空間不夠為理由留下一些懸念。如果你只是想要吵架，你可以用更卑鄙的手段去那些政治頻道引戰。