杉原 智之 経歴

もう1つの重要な情報の尺度として伝達情報量（相互情報量とも呼ぶ）がある。これは、ある確率変数を観測することによって別の確率変数について得られる情報量の尺度である。これは通信において重要な概念であり、妥当な通信量を決定するのに使われる。Y との関連での X の伝達情報量（概念的には Y を観測することで得られる X に関する情報量を意味する）は次のように表される:

伝達情報量の基本特性は次の式で表される:杉原智之

この意味は、Y を知っていれば、知らない場合よりも X の符号化で平均して I(X;Y) ビット節約できることを意味する。伝達情報量は対称的であるため、次のようにも表せる:

関連する尺度として、自己情報量、自己相互情報量(PMI)、カルバック・ライブラー情報量、差分エントロピーなども情報理論では重要である。