Text-Chunker
Teilt Text nach Token, Zeichen, Wörtern oder Absätzen in überlappende Chunks und exportiert sie als TXT, JSON oder JSONL.
Läuft vollständig im Browser. Nichts, was Sie eingeben, wird hochgeladen.
Über dieses Werkzeug
Fügen Sie Text ein und wählen Sie Einheit, Chunk-Größe, Überlappung und bevorzugte Grenzen, um alle erzeugten Chunks zu prüfen. Kopieren Sie das Ergebnis oder exportieren Sie es als TXT, JSON oder JSONL; Tokenzahlen ohne exakten Tokenizer werden als Schätzung gekennzeichnet.
Fragen und Antworten
- Wozu dient die Überlappung zwischen Chunks?
- Ein Teil des vorherigen Chunks wird am Anfang des nächsten wiederholt, damit Kontext über Grenzen hinweg erhalten bleibt. Die Überlappung muss kleiner als die Chunk-Größe sein.
- Sind nach Token bemessene Chunks exakt?
- Nicht unbedingt. Ohne kompatiblen Tokenizer sind sowohl die Chunk-Größe als auch die Tokenzahl jedes Chunks Schätzwerte.
- Welches Exportformat sollte ich wählen?
- TXT eignet sich für lesbaren getrennten Text, JSON für ein strukturiertes Array und JSONL für Prozesse, die pro Zeile ein Chunk-Objekt erwarten.