データ圧縮のためのエントロピーの計算

Question

「シンボルあたりの平均ビット数」の計算方法について少し混乱します。これは、各文字の確率を取って、それを正規のエントロピーのようなlg（1 /確率）で掛けることによって計算されますか？

また、これが真であれば、平均文字の出現状況をどうやって知ることができますか？

Answer 1

私は圧縮について多くを知らないが、私が言うことができるので、私は本当にこの答えるべきではありません。

• 「シンボルあたりのビットが」定義されている方法は？

正しいですか。 -Σp·log(p)と定義されている通常のエントロピーです。これは実際にはの文字のではなく、のメッセージの頻度であることに注意してください。すなわち、

{ abcdefghijklmnopqrstuvwxyz } 

は偉大なルックスのメッセージの次のセットは、文字ごとに文字を解析していますが、手紙の平均発生が何であるかを知ることができますどのように

• 0のエントロピーを持っていますか？

メッセージが生成される正確なプロセスがわからない限り、理論的には分かりません。ヒューリスティックを使う必要があります。大きなサンプルを集めて数えたり、冗長性の兆候があることがわかっているパターンを探したりするように。英語のテキストなど