Intl.Segmenter 是浏览器原生支持的国际化分段 API，但它对中文的支持有明确限制：当前（截至 Chrome 120+、Safari 17+、Firefox 115+）不支持中文的语义分词或断句，仅支持按字（grapheme clusters）、词（word）或句子（sentence）进行语言无关的“边界检测”，且中文的 word 和 sentence 模式实际退化为按标点/空白粗略切分，无法识别“人工智能”“中华人民共和国”等真实词汇，也不能处理无标点长文本的合理断句。
为什么 Intl.Segmenter 不能直接用于中文分词
原因在于其底层依赖 Unicode UAX-29（Unicode 文本分割标准），该标准将中文视为“无空格连续字符流”，未定义汉字间的词边界。它把每个汉字都当作独立 word，或仅在句号、问号、换行等处切分 sentence——这与中文自然语言理解中的“分词”“断句”目标本质不同。
- 设置
granularity: 'word'→ 每个汉字、标点、英文字母都被当做一个“词”（如“你好世界”返回 4 个 segment） - 设置
granularity: 'sentence'→ 仅在 UAX-29 定义的 sentence break 属性位置切分（如 U+3002 。、U+FF1F ？、换行符），忽略中文常见的意群停顿（如逗号后、主谓之间、长定语后） - 不支持自定义词典、上下文识别、命名实体识别等中文分词必需能力
若仍需用 Intl.Segmenter，可做的有限适配
它可在部分轻量场景辅助预处理，但必须搭配其他策略：
-
英文混排清洗：用
granularity: 'word'准确提取英文单词、数字、邮箱等，避免正则误切（如区分 “C++” 和 “C＋＋”） -
标点驱动的粗粒度断句：用
granularity: 'sentence'快速获取带句末标点的片段，再对每个片段用规则或模型做二次切分 -
阅读时长初估（非字数）：结合
segmenter.segment(text)获取所有 grapheme cluster（视觉上“可点击/可选中”的最小单位），统计总 cluster 数（比text.length更准，因兼容 emoji 组合、ZWJ 序列等），再按平均阅读速度（如 300 字/分钟）折算——注意：这里“字”实为 grapheme，非中文语义字
真正适合中文分词与断句的替代方案
生产环境应选用专为中文设计的工具：
- 前端轻量级：使用 jieba-js（JavaScript 移植版），支持精确模式、全模式、搜索引擎模式，可加载自定义词典，准确率高且体积可控（约 200KB gzip）
-
服务端协同：前端发送文本哈希 + 长度，服务端用
jieba（Python）、hanlp或ltp做高质量分词/依存分析，返回分词结果与语义句切分（如按主谓宾、连动结构、并列成分） - 阅读量精准统计建议：以分词结果为基础，过滤停用词、标点、纯空格；对保留的实词按词性加权（如名词/动词权重 1.0，虚词 0.3）；再结合用户历史阅读速度模型动态校准，远优于单纯字符计数
一个实用组合示例：中英混合阅读统计
不追求纯前端分词，而是分层处理：
- 第一步：用
Intl.Segmenter({ locale: 'en', granularity: 'word' })提取所有英文 token（保持大小写与缩写） - 第二步：用正则
/[\u4e00-\u9fa5]+/g提取中文连续块，送入 jieba-js 分词 - 第三步：合并中英文分词结果，按字符宽度（非 code unit）估算视觉阅读负荷（如中文字符占 2 倍宽度，英文占 1 倍）
- 第四步：基于用户设备字体渲染实测数据，动态调整每百词阅读秒数，生成个性化阅读时长
