文本分块器

按 Token、字符、单词或段落将文本拆成带重叠的分块,并导出为 TXT、JSON 或 JSONL。

全部在浏览器内运行,你输入的内容不会被上传。

关于这个工具

粘贴文本,选择计量单位、分块大小、重叠量和优先边界,即可检查每个生成的分块。结果可以复制或导出为 TXT、JSON、JSONL;未使用精确分词器时,Token 数会标为估算。

常见问题

分块重叠有什么作用?
它会在下一分块开头重复上一分块的一部分,从而保留跨边界的上下文。重叠量必须小于分块大小。
按 Token 划分的分块是否精确?
不一定。未使用兼容分词器时,分块大小和每个分块的 Token 数都是估算值。
应该选择哪种导出格式?
易读的分隔文本使用 TXT,结构化数组使用 JSON,需要每行一个分块对象的处理流程使用 JSONL。

相关工具

返回 Mini Tools 列表