トークン・単語・文字換算機
英語、日本語、中国語、韓国語、混在テキストについて、トークン・単語・文字間の換算範囲を概算します。
すべてブラウザ内で動作します。入力した内容が送信されることはありません。
このツールについて
値と元の単位をトークン、単語、文字から選び、内容に最も近い言語プロファイルを指定します。結果は計画用の概算範囲であり、モデル固有の計数が必要な場合はLLMトークンカウンターを使用してください。
よくある質問
- この換算機は正確なトークナイザーを使いますか？
- いいえ。言語プロファイルごとの広い比率を使い、結果は常に概算として表示します。
- 結果を1つの値ではなく範囲で表示するのはなぜですか？
- 語彙、句読点、文字体系、コード、対象モデルによってトークン化が変わるためです。単一値より範囲の方が不確実性を正確に伝えられます。
- どの言語プロファイルを選べばよいですか？
- 内容の大部分に合うプロファイルを選びます。多言語テキスト、文章とコードの組み合わせ、複数の文字体系を含む内容には「混在」を使います。