Go 的 regexp 包中 \w 仅匹配 ASCII 字母数字和下划线，不支持 Cyrillic、Czech 等 Unicode 字母；需改用 Unicode 类 \p{L} 并显式补充 \d 和 _，才能正确提取多语言单词。

go 的 `regexp` 包中 `\w` 仅匹配 ascii 字母数字和下划线，不支持 cyrillic、czech 等 unicode 字母；需改用 unicode 类 `\p{l}` 并显式补充 `\d` 和 `_`，才能正确提取多语言单词。

在 Go 中处理国际化文本时，正则表达式 \w+ 常被误认为能匹配“所有语言的单词”，但事实并非如此。根据 Go 正则语法文档，\w 是严格等价于 [0-9A-Za-z_] 的 ASCII-only 缩写，完全忽略 Unicode 字母（如俄语的 Раз、捷克语的 tři）。这导致 FindAllString 对含西里尔或带重音字符的文本返回空切片或错误切分（如将 tři 拆为 t i ty i）。

解决方法是使用 Unicode 字符类 \p{L}（表示任意 Unicode 字母），并手动补全数字 \d 和下划线 _，构成完整单词字符集：

package main

import (
    "fmt"
    "regexp"
)

func getWordsFrom(text string) []string {
    // ✅ 正确：支持所有 Unicode 字母 + 数字 + 下划线
    re := regexp.MustCompile(`[\p{L}\d_]+`)
    return re.FindAllString(text, -1)
}

func main() {
    text := "One, two three!"
    text2 := "Раз, два три!"
    text3 := "Jedna, dva tři čtyři pět!"

    fmt.Println(getWordsFrom(text))  // [One two three]
    fmt.Println(getWordsFrom(text2)) // [Раз два три]
    fmt.Println(getWordsFrom(text3)) // [Jedna dva tři čtyři pět]
}

? 补充说明：

Golang Uber Dig

使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等

下载

• \p{L} 是 Unicode 通用类别（Unicode Category L），涵盖 Ll（小写字母）、Lu（大写字母）、Lt（首字母大写）、Lm（修饰字母）、Lo（其他字母）等全部子类，完美覆盖俄语、捷克语、中文（汉字属 \p{Lo}）、阿拉伯语等；
• 若需排除数字，可简化为 [\p{L}_]+；若需兼容连字符（如 state-of-the-art），可扩展为 [\p{L}\d_]+(?:-[\p{L}\d_]+)*；
• 注意：Go 的 regexp 不支持 PCRE 风格的 \w+u 或 (?u)\w+，也不支持 \p{Word} —— 必须显式组合 Unicode 类。

✅ 最佳实践建议：

立即学习“go语言免费学习笔记（深入）”；

• 永远避免在国际化场景中直接使用 \w；
• 使用 [\p{L}\d_]+ 作为默认“单词”模式；
• 如需更严谨的分词（例如处理标点粘连、缩写、引号嵌套），建议结合 strings.FieldsFunc() 预处理或引入专用分词库（如 golang.org/x/text/unicode/norm + 自定义逻辑）；
• 在正则中启用 (?i) 时，\p{L} 仍保持大小写无关性，无需额外配置。

通过替换为 Unicode 感知的字符类，即可让 Go 正则真正“读懂”世界语言。