Segmentador de texto
Divide texto en fragmentos solapados por tokens, caracteres, palabras o párrafos y expórtalos como TXT, JSON o JSONL.
Funciona por completo en tu navegador. Nada de lo que escribes se envía a ningún sitio.
Sobre esta herramienta
Pega el texto, elige unidad, tamaño, solapamiento y límites preferidos y revisa cada fragmento generado. Copia el resultado o expórtalo como TXT, JSON o JSONL; los tokens se identifican como estimados cuando no se usa un tokenizador exacto.
Preguntas y respuestas
- ¿Para qué sirve el solapamiento entre fragmentos?
- Repite una parte del fragmento anterior al inicio del siguiente para conservar el contexto entre límites. Debe ser menor que el tamaño del fragmento.
- ¿Son exactos los fragmentos medidos en tokens?
- No necesariamente. Sin un tokenizador compatible, tanto el tamaño como el recuento de tokens de cada fragmento son estimaciones.
- ¿Qué formato de exportación debo elegir?
- Usa TXT para texto separado y legible, JSON para un array estructurado y JSONL cuando el proceso espere un objeto de fragmento por línea.