テキスト分割ツール
テキストをトークン、文字、単語、段落単位で重複付きチャンクに分割し、TXT、JSON、JSONLで出力します。
すべてブラウザ内で動作します。入力した内容が送信されることはありません。
このツールについて
テキストを貼り付け、単位、チャンクサイズ、オーバーラップ、優先する境界を選ぶと、生成された各チャンクを確認できます。結果はコピーするかTXT、JSON、JSONLで出力でき、正確なトークナイザーを使わないトークン数には「概算」と表示します。
よくある質問
- チャンクのオーバーラップとは何ですか？
- 前のチャンクの一部を次のチャンクの先頭でも繰り返し、境界をまたぐ文脈を保つ仕組みです。オーバーラップはチャンクサイズ未満にする必要があります。
- トークン単位のチャンクサイズは正確ですか？
- 必ずしも正確ではありません。互換性のあるトークナイザーを使わない場合、チャンクサイズと各チャンクのトークン数は概算です。
- どの出力形式を選べばよいですか？
- 読みやすい区切り付きテキストにはTXT、構造化配列にはJSON、1行1チャンクの処理パイプラインにはJSONLを使います。