Intl.Segmenter 是基于语言习惯的语义分段 API，需按 locale 和 granularity 精确配置以支持中文词、日文助词、泰语无空格等场景，并结合偏移量构建索引，混合文本应分区处理，兼容性不足时降级为空格/标点分割。
Intl.Segmenter 是现代 JavaScript 中专为语言敏感型文本切分设计的 API，它不依赖空格或标点硬规则，而是依据各语言真实的书写习惯与语义边界（如中文词、日文假名+汉字组合、阿拉伯语连字、泰语无空格分词等）进行分段。要实现真正符合多国语境的语义断句与索引，关键在于正确选择 locale 和 granularity，并结合段落位置信息构建可映射的索引结构。
按语义单元精准分段：选对 locale 与 granularity
不同语言对“一个单位”的定义差异极大。例如：
-
中文：应设
granularity: 'word'+ 明确 locale（如'zh-CN'），才能识别“人工智能”为一个词，而非单字；用'en-US'则会错误按字切分。 -
日语：
'ja-JP'+'word'可区分「東京」和「に」这类助词，而'grapheme'仅保证不切断复合假名（如「しゅ」）。 -
泰语/老挝语/高棉语：这些语言无词间空格，必须依赖
'word'粒度和对应 locale（如'th-TH'），否则整段视为一个“词”。 -
阿拉伯语：需
'ar-SA'+'word'才能处理连写变体（如「وَالْكِتَابِ」中每个词干独立）。
构建带偏移量的语义索引表
单纯获取分段内容不够，索引必须记录每个语义单元在原文中的起止位置（index 和 segment.length），才能支撑高亮、编辑、翻译对齐等场景：
const text = "你好世界";
const segmenter = new Intl.Segmenter('zh-CN', { granularity: 'word' });
const indices = [];
for (const seg of segmenter.segment(text)) {
indices.push({
word: seg.segment,
start: seg.index,
end: seg.index + seg.segment.length,
isWord: seg.isWord
});
}
// → [{ word: "你好", start: 0, end: 2 }, { word: "世界", start: 2, end: 4 }]
处理混合语言文本的策略
实际文本常含中英混排（如“iOS更新”）、中日混用（如“东京Tokyo”）。Intl.Segmenter 默认按整体 locale 处理，可能切分失准。稳妥做法是：
- 先用 Unicode 范围粗判文字类型（如
/[\u4e00-\u9fff]/匹配汉字，/[a-zA-Z]/匹配拉丁字母）； - 对连续同类型区块，分别用对应 locale 初始化 Segmenter 分段；
- 合并结果时保留原始偏移，避免因多次切分导致位置错乱。
注意浏览器兼容性与降级方案
Intl.Segmenter 在 Safari 15.4+、Chrome 90+、Firefox 93+ 支持良好，但旧版或 Node.js（v18.0 以下）可能缺失。可检测后降级：
if (typeof Intl.Segmenter === 'undefined') {
// 降级为基于空格/标点的简单分词（仅适用于拉丁语系）
return text.split(/(\s+|[^\p{L}\p{N}]+)/u);
}
注意：正则中 \p{L} 需加 u 标志支持 Unicode 属性，且不能替代语义分词——它无法解决中文、泰语等无空格语言的问题。
