文本分块器
按 Token、字符、单词或段落将文本拆成带重叠的分块,并导出为 TXT、JSON 或 JSONL。
全部在浏览器内运行,你输入的内容不会被上传。
关于这个工具
粘贴文本,选择计量单位、分块大小、重叠量和优先边界,即可检查每个生成的分块。结果可以复制或导出为 TXT、JSON、JSONL;未使用精确分词器时,Token 数会标为估算。
常见问题
- 分块重叠有什么作用?
- 它会在下一分块开头重复上一分块的一部分,从而保留跨边界的上下文。重叠量必须小于分块大小。
- 按 Token 划分的分块是否精确?
- 不一定。未使用兼容分词器时,分块大小和每个分块的 Token 数都是估算值。
- 应该选择哪种导出格式?
- 易读的分隔文本使用 TXT,结构化数组使用 JSON,需要每行一个分块对象的处理流程使用 JSONL。