『シャノンの情報理論入門 価値ある情報を高速に、正確に送る』

高岡詠子 著
講談社ブルーバックス
ISBN978-4-06-257795-3
シャノンが展開した情報理論について書かれた本。
別にこんなものといえばこんなものだが、あまり簡単ではないと思う。
本書は、数式『で』説明してくれるのはいいのだが、基本的に数式『を』説明してくれることはない。
シャノンの情報理論が難しいから本書も難しいのかもしれないが、もう少しやりようがあるのではないだろうか。
入門書を探しているのなら、別の本から読んでみた方がいいのではないかと思う。
後は、それでもよければというところだろう。

以下メモ。
・ある確率で物事が起こるとき、それが起こったという情報の大きさを情報量として定義する。
　1/2で起こる事柄なら、それが起こったという情報の情報量は1ビット、1/4なら2ビットになる。
・ある物事が起こったか起こらなかったの情報について、それぞれの場合の情報量の期待値が情報エントロピーである。
104万回に一回起こることは、情報量としては7ビットと大きいが、起こらないことの方が圧倒的に多いので、情報エントロピーは小さくなる。
・モールス信号でＥとＴが一桁で示されるように、確率の大きいものを少ない符号で示せば、平均符号長は短くできる。
ただし、瞬時復号可能な符号の平均符号長はその情報源の情報エントロピー以下になることはない（情報源符号化定理）。
・ある情報によって減少した情報源の情報エントロピーを相互情報量と呼ぶ。
・通信路において誤りが発生した場合、それによって元の情報の情報エントロピーが減少するので、相互情報量と同様に考え、これをその通信路の容量として定義する。
・kビットの情報に誤り訂正のためのnビットの冗長部分を付加して送信した場合に、k/nが通信路容量より小さければ、誤りを0にできる符号化方法が存在する（通信路符号化定理）。