本文深入探讨了在javascript中对中文、日文等多语言内容进行精确词语计数的方法。传统基于正则表达式的方案往往难以准确识别复杂语言的词语边界并排除标点符号。我们介绍并演示了如何利用现代web api `intl.segmenter`，结合其语言环境感知和`iswordlike`属性，实现高效且符合语言习惯的词语分割与计数，从而解决跨语言文本处理中的常见挑战。
在处理多语言文本，尤其是中文和日文等没有明确词语分隔符的语言时，进行精确的词语计数是一个常见的挑战。传统的基于正则表达式的方法，通过匹配特定字符集来定义“词语”，往往难以与实际的语言习惯或标准工具（如Microsoft Word）的计数结果保持一致，并且难以有效排除标点符号和空格。这种方法的局限性在于，它需要为每种语言维护复杂的正则表达式，且可能无法捕捉到语言特有的词语分割规则。
现代JavaScript解决方案：Intl.Segmenter
为了解决这一问题，JavaScript提供了一个强大的国际化API：Intl.Segmenter。这个API旨在提供一种标准化的方式来将文本分割成语言环境敏感的单元，例如词语（word）、句子（sentence）或字形簇（grapheme）。Intl.Segmenter能够根据指定的语言环境，自动应用该语言的分割规则，从而实现更准确、更符合自然语言处理需求的文本分割。
使用Intl.Segmenter进行词语计数
利用Intl.Segmenter进行词语计数的核心思想是，通过指定granularity: 'word'来获取文本中的所有词语片段，并筛选出那些被识别为“类似词语”的片段。每个分割后的片段都会带有一个isWordLike属性，该属性为true表示该片段是一个词语，false则表示它可能是标点符号、空格或其他非词语内容。
下面是使用Intl.Segmenter实现多语言词语计数的具体步骤和示例代码：
立即学习“Java免费学习笔记（深入）”；
在 AgentBlog（blog.agentloka.ai）上作为已认证 AI 代理发布博客文章，支持发布、编辑、删除、评论、浏览和阅读长篇内容。
-
创建Intl.Segmenter实例：
- 传入locale参数，指定文本的语言环境（例如 'en'、'zh'、'ja'）。
- 传入配置对象{ granularity: 'word' }，明确表示我们希望按词语进行分割。
-
分割文本：
- 调用segment()方法，传入待计数的文本。该方法返回一个可迭代对象，其中包含一系列表示文本片段的对象。
-
筛选并计数：
- 将可迭代对象转换为数组（例如使用扩展运算符...）。
- 使用reduce()方法遍历数组中的每个片段。
- 对于每个片段，检查其isWordLike属性。如果为true，则将其计入总词语数。Number(isWordLike)是一个简洁的方式将布尔值true/false转换为1/0进行累加。
示例代码
/**
* 使用Intl.Segmenter计算多语言文本中的词语数量。
* 该方法能够根据指定的语言环境，准确识别词语并排除标点符号、空格等非词语内容。
*
* @param {string} text 待计数的文本内容。
* @param {string} locale 文本的语言环境标识符（例如 'en', 'zh', 'ja', 'fr'）。
* @returns {number} 文本中的词语数量。
*/
function countWords(text, locale) {
// 创建Intl.Segmenter实例，指定语言环境和分割粒度为 'word'
const segmenter = new Intl.Segmenter(locale, { granularity: 'word' });
// 使用segment方法分割文本，并转换为数组
const segments = [...segmenter.segment(text)];
// 使用reduce方法遍历所有片段，累加isWordLike为true的片段
return segments.reduce((wordCount, { isWordLike }) => {
// 将isWordLike（布尔值）转换为数字（true -> 1, false -> 0）并累加
return wordCount + Number(isWordLike);
}, 0); // 初始词语计数为0
}
// 演示不同语言的词语计数
console.log(
"countWords('How many words does the text contain?', 'en') ?..",
countWords('How many words does the text contain?', 'en'), // 预期: 7
);
console.log(
"countWords('Combien de mots contient ce texte ?', 'fr') ?..",
countWords('Combien de mots contient ce texte ?', 'fr'), // 预期: 6
);
console.log(
"countWords('そのテキストには何語含まれていますか？', 'ja') ?..",
countWords('そのテキストには何語含まれていますか？', 'ja'), // 预期: 5 (その, テキスト, には, 何語, 含まれて, います, か, ？ - 根据实际分割可能不同)
);
console.log(
"countWords('该文本包含多少个单词？', 'zh') ?..",
countWords('该文本包含多少个单词？', 'zh'), // 预期: 7 (该, 文本, 包含, 多少, 个, 单词, ？)
);
// 带有特殊字符和空格的中文文本示例
console.log(
"countWords('你好，世界！这是一个测试。', 'zh') ?..",
countWords('你好，世界！这是一个测试。', 'zh'), // 预期: 6 (你好, 世界, 这, 是, 一个, 测试)
);
// 带有数字和英文混合的日文文本示例
console.log(
"countWords('これはJavaScriptのIntl.Segmenterのテストです。', 'ja') ?..",
countWords('これはJavaScriptのIntl.Segmenterのテストです。', 'ja'), // 预期: 7 (これ, は, JavaScript, の, Intl.Segmenter, の, テスト, です)
);注意事项与浏览器兼容性
- 准确性：Intl.Segmenter提供的词语分割是基于Unicode标准和语言环境特定的规则，因此它通常比自定义正则表达式更准确，尤其是在处理复杂语言时。
- isWordLike属性：这个属性是判断一个文本片段是否为“词语”的关键。它能够帮助我们自动排除标点符号、空格和某些连接符。
- 浏览器兼容性：需要注意的是，Intl.Segmenter是一个相对较新的API。在撰写本文时，大多数现代浏览器（如Chrome、Edge、Safari）已经支持它，但某些浏览器（例如Firefox在某些版本中）可能尚未完全实现或支持。在部署到生产环境之前，务必检查目标用户群所使用的浏览器兼容性。如果需要支持不支持Intl.Segmenter的环境，可能需要考虑引入Polyfill或采用其他备用方案。
总结
Intl.Segmenter为JavaScript中的多语言文本词语计数提供了一个强大、标准且国际化的解决方案。它克服了传统正则表达式方法的局限性，能够根据不同的语言环境提供更精确、更符合语言习惯的词语分割。通过利用其granularity: 'word'选项和isWordLike属性，开发者可以轻松实现跨语言的词语统计功能，从而提升国际化应用的健壮性和用户体验。在实际应用中，请务必关注其浏览器兼容性，以确保在目标环境中稳定运行。
