gse分词不准的根本原因是默认词典未覆盖业务专有名词，需手动加载自定义词典；分词慢因缺乏预热与实例复用；乱码或panic多由非UTF-8编码输入导致；gse不支持词性标注，需借助外部工具。
gse 分词结果不准，特别是专有名词切错了
根本原因是默认词典没覆盖你的业务词汇，gse 启动时只加载内置词典（约 10 万词），对人名、地名、产品名这类未登录词基本靠规则硬切，容易把“微信支付”切成“微信/支付”，把“Transformer”切成“Trans/for/mer”。
实操上必须自己加词：seg.LoadDict("your_dict.txt")，文件格式是每行一个词，可带权重（空格分隔，如 微信支付 100）。注意路径必须是绝对路径或相对于可执行文件的相对路径；如果用 go run，当前目录是源码所在目录，但二进制运行时是工作目录，建议用 filepath.Abs 拼接。
- 别直接改
gse/data/dict.txt：升级包时会被覆盖 - 权重不是越高越好：设成
999可能导致“苹果手机”强行切出“苹果”，而实际想保留“苹果手机”整体 - 加词后记得调用
seg.Cut重新分词，不是 reload 就自动生效
分词速度慢，CPU 占用高
gse 默认用双数组 Trie + 正向最大匹配（FMM），对长文本（如 >5KB）或高频调用场景，单 goroutine 处理会明显卡住。它本身不带并发安全机制，也不能复用 Segmenter 实例跨 goroutine。
提速关键在两点：预热和复用。启动时先跑一次 seg.Cut("预热文本")，让内部 Trie 树完成初始化；然后把 seg 实例存在全局变量或 sync.Pool 里，避免每次 new。
立即学习“go语言免费学习笔记（深入）”；
- 别在 HTTP handler 里每次 new
gse.Segmenter：初始化耗时约 2–5ms，累积起来很可观 - 不用
sync.Mutex包裹Cut：Segmenter是值类型，复制成本低，Pool 更合适 - 如果文本极长（>100KB），先按句号/换行切分再并行处理，
gse对超长串没有流式支持
分词结果含乱码或 panic: runtime error: index out of range
典型是输入了非 UTF-8 编码的字符串，比如 GBK 的日志文本直接传给 seg.Cut。Go 字符串底层是 UTF-8，如果字节序列非法（如截断的中文），range 遍历时会跳过某些 rune，Trie 匹配位置错位，最终导致索引越界或返回空切片。
必须在分词前做编码校验和转换。推荐用 golang.org/x/text/encoding，例如检测是否为 UTF-8：utf8.ValidString(s)；如果不是，用 unicode/utf8 或第三方库转码，不要用 string([]byte) 强转。
- 别信“前端说传的是 UTF-8”：HTTP header、数据库字段、文件读取都可能偷偷变了编码
-
seg.Cut不做编码检查，出错才 panic，线上务必 recover - 日志中打印原始字节（
fmt.Printf("% x", []byte(s))）比打印字符串更能暴露编码问题
想用 jieba 的词性标注，但 gse 不支持
gse 定位是轻量级分词器，只返回词元切片（[]string），不提供词性（POS）、NER、依存句法等 NLP 能力。它和 jieba 的 Python 版本不在同一抽象层级——后者本质是分词 + 简单词性 + 用户词典 + HMM 未登录词识别的组合包。
如果真需要词性，两个现实选择：一是用 CGO 调用 libjieba（有 Go binding，如 github.com/yanyiwu/gojieba），但要编译 C 依赖；二是接受妥协，用 gse 分词后，拿结果去查外部服务（如 HanLP 的 HTTP API）或本地模型（需额外部署）。
-
gojieba的CutAll模式性能比gse低 3–5 倍，别在高 QPS 场景用 - 别自己写词性规则：中文词性高度依赖上下文，“学习”是动词还是名词，
gse根本不判断 - 如果只是过滤“名词类”词，可以用停用词表 + 人工维护的名词前缀（如“系统”“平台”“服务”）做二次筛选
