Java中InputStreamReader负责字节到字符的正确解码，Scanner的正则分词依赖解码后的字符及适配Unicode的正则表达式；需显式指定UTF-8编码并启用(?U)标志或使用p{N}等Unicode属性确保分词准确。
Java 中 InputStreamReader 本身不直接和 Scanner 的正则分词行为联动，它只负责将字节流按指定编码解码为字符流；而 Scanner 的分词（如 next()、findInLine()）依赖其内部的字符源和分隔符模式，**不感知编码**——编码已在 InputStreamReader 阶段完成转换。真正影响正则分词效果的是：你传给 Scanner 的字符源是否正确解码，以及正则表达式本身是否适配该编码下的 Unicode 字符。
确保 InputStreamReader 使用正确的字符编码
这是前提。如果编码错误，后续所有字符（包括正则匹配的目标）都会错乱，导致分词失败或误判。
- 显式指定编码（推荐），避免依赖平台默认编码（如 Windows 的 GBK、Linux/macOS 的 UTF-8）：
InputStream is = new FileInputStream("data.txt");
InputStreamReader reader = new InputStreamReader(is, StandardCharsets.UTF_8); // ✅ 明确 UTF-8
Scanner scanner = new Scanner(reader);
- 若文件含中文、日文等 Unicode 字符，却用
new InputStreamReader(is)（无参构造），很可能因平台默认编码不匹配而出现乱码，此时scanner.next()读出的字符串已损坏，再强的正则也无济于事。
Scanner 的分隔符正则需适配 Unicode 字符
Scanner 默认以空白字符（s）分隔，但 s 在 Java 正则中默认**不匹配 Unicode 空白**（如全角空格、中文顿号、日文空格等）。若你的文本含这些字符，需启用 UNICODE_CHARACTER_CLASS 标志：
- 用
useDelimiter()设置支持 Unicode 的分隔正则：
scanner.useDelimiter("(?U)\s+"); // ✅ (?U) 启用 Unicode-aware s
// 或更明确地匹配常见中文分隔符：
scanner.useDelimiter("(?U)[\su3000uFF0Cu3001]+"); // 空格、全角空格、中文逗号、顿号
- 注意：
(?U)是内嵌标志，仅对当前正则生效；也可用Pattern.compile("\s+", Pattern.UNICODE_CHARACTER_CLASS)构造后传入。
正则匹配内容本身要兼容实际字符
例如想用 scanner.findInLine("第d+章") 提取“第12章”，前提是文本中确实是 ASCII 数字 12，而非全角数字 １２（U+FF11 U+FF12）。后者需写成：
立即学习“Java免费学习笔记（深入）”；
scanner.findInLine("第[\duFF10-uFF19]+章"); // 匹配 ASCII + 全角数字
- 建议统一文本编码为 UTF-8，并在正则中用
p{N}匹配任意 Unicode 数字，p{Han}匹配汉字等：
scanner.findInLine("第\p{N}+章"); // 更健壮
验证解码是否成功（调试关键）
分词异常时，先确认 InputStreamReader 解码是否正确：
- 临时跳过
Scanner，用BufferedReader逐行打印原始字符串：
BufferedReader br = new BufferedReader(
new InputStreamReader(new FileInputStream("data.txt"), StandardCharsets.UTF_8)
);
String line;
while ((line = br.readLine()) != null) {
System.out.println("[" + line + "]"); // 看中文是否正常显示
}
- 若此处已乱码，则问题在
InputStreamReader编码设置；若正常，再排查Scanner的分隔符或正则逻辑。
核心就两点：用 InputStreamReader 正确解码字节为字符，再让 Scanner 的正则理解这些字符。编码设错，后面全是徒劳；正则没考虑 Unicode，再好的编码也白搭。
