資訊的度量- Information Entropy @ 凝視、散記:: 隨意窩Xuite日誌

本文整理淺介「機率、訊息、熵」三者間的相關的概念。

我們想釐清的的問題是：如何度量一個事件的「訊息量」？ “X國(有32隊進入決賽)是本屆世界盃冠軍”這資訊的信息量？ 觀看電視的一個畫面, 得到多少訊息？ 一本五十萬字的中文書平均有多少信息量？當我們觀測到或聽到一個事件發生時，就得到了一些「訊息」。

「訊息量」指的是：該訊息的內涵多寡，也可以這麼說：「訊息」的內涵是用來表達某事件之各種可能結果可能性大小。

當事件越明確時，關於此事件所能訊息量越小。

而當事件越模糊(機率接近0.5或1/n，均勻分