文字頻度分析 と関連ツールの比較：どれを使うべきか

使い方

1. 下流の消費者が実際に何を期待しているかを特定します——形式、エンコーディング、チェックサム、それとも人間が読めるラベルか。
2. その期待に、出力がすでにその形になっているツールを対応させます。二度変換すると情報が失われます。
3. 二つのツールが等価に見える場合は、消費者が引用する標準をオプションで明示できる方を選びます。
4. 関連ツールを並べて開き、同じ入力を両方に通します。違いはすぐ現れます。

例

A pangram: every letter appears, so the entropy is close to the maximum for English text.

入力

the quick brown fox jumps over the lazy dog

出力 — 検索結果

43 characters, 27 distinct

Top 27:
  ␣   U+0020        8   18.60%  ████████████████████████
  o   U+006F        4    9.30%  ████████████
  e   U+0065        3    6.98%  █████████
  h   U+0068        2    4.65%  ██████
  r   U+0072        2    4.65%  ██████
  t   U+0074        2    4.65%  ██████
  u   U+0075        2    4.65%  ██████
  a   U+0061        1    2.33%  ███
  b   U+0062        1    2.33%  ███
  c   U+0063        1    2.33%  ███
  d   U+0064        1    2.33%  ███
  f   U+0066        1    2.33%  ███
  g   U+0067        1    2.33%  ███
  i   U+0069        1    2.33%  ███
  j   U+006A        1    2.33%  ███
  k   U+006B        1    2.33%  ███
  l   U+006C        1    2.33%  ███
  m   U+006D        1    2.33%  ███
  n   U+006E        1    2.33%  ███
  p   U+0070        1    2.33%  ███
  q   U+0071        1    2.33%  ███
  s   U+0073        1    2.33%  ███
  v   U+0076        1    2.33%  ███
  w   U+0077        1    2.33%  ███
  x   U+0078        1    2.33%  ███
  y   U+0079        1    2.33%  ███
  z   U+007A        1    2.33%  ███

Shannon entropy: 4.3855 bits/character
(8.0 would mean perfectly random bytes; English prose is typically 4.0–4.5)

実行

説明

Count characters, words, line lengths or n-grams and compute Shannon entropy.

文字頻度分析 → · 使い方 → · テキストツール →

関連ツール