Java高效读取超大文本文件应使用Files.lines()实现流式处理，边读边处理，内存恒定；禁用String.lines()避免OOM；慎用parallelStream()，优先优化I/O层。
Java 中用 Stream API 高效读取超大文本文件（如 10GB+），关键不是“直接用 Stream API 加载整个文件”，而是**用流式 I/O 机制配合 Stream 的声明式处理能力**——即让数据“边读边进流、边进流边处理”，全程不驻留全量内容在内存中。
优先用 Files.lines()，而非把文件转成字符串再调用 .lines()
Files.lines() 是专为大文件行读取设计的流式入口，底层基于 BufferedReader + 缓冲区，惰性加载、按需拉取：
- 它返回的是 Stream<String>，但背后不缓存全部行，每次
iterator.next()才触发一次readLine() - 自动识别
\n、\r\n、\r等所有 Unicode 行终止符，跨平台安全 - 必须搭配 try-with-resources 使用，否则流关闭后底层文件通道未释放，可能引发句柄泄漏
示例写法：
Path path = Paths.get("huge-log.txt");
try (Stream<String> stream = Files.lines(path, StandardCharsets.UTF_8)) {
stream.filter(line -> line.contains("[ERROR]"))
.limit(100)
.forEach(System.out::println);
}
避免常见陷阱：别用 String.lines() 处理文件内容
String.lines() 只适用于已加载到内存的字符串（比如配置模板、小段日志拼接结果），对大文件先 Files.readString() 或 new String(Files.readAllBytes()) 再调用 .lines() 会直接 OOM —— 这是典型误用。
立即学习“Java免费学习笔记（深入）”；
对比说明：
- ✅ 正确：Files.lines() → 每次只读一行，内存恒定（约几 KB）
- ❌ 错误：
String content = Files.readString(path); content.lines()...→ 先占 10GB 内存，再分词，必崩
需要并行处理时，慎用 parallelStream()
Files.lines() 返回的是顺序流，调用 .parallel() 不会提升性能，反而可能因 I/O 线程竞争变慢。真正适合并行的场景是：
- 文件已按块预切分（如用 RandomAccessFile 定位偏移、跳过行首截断点，生成多个子路径）
- 每块独立解析后，再用
Stream.of(chunk1, chunk2, ...).parallel()处理
单文件直读不建议强行并行；若需提速，应从 I/O 层优化入手（如增大缓冲区、使用 NIO FileChannel + ByteBuffer）。
进阶技巧：自定义缓冲大小与编码容错
标准 Files.lines() 默认使用系统缓冲策略，但对某些慢盘或高吞吐场景，可手动包装带大缓冲的 Reader：
BufferedReader reader = new BufferedReader(
new InputStreamReader(
new FileInputStream(path.toFile()),
StandardCharsets.UTF_8),
1024 * 1024 // 1MB 缓冲，减少系统调用次数
);
try (Stream<String> stream = reader.lines()) {
// 后续处理...
}
如遇编码异常（如部分行含 GBK 字节但文件标 UTF-8），可用 CharsetDecoder 自定义容错策略，跳过非法字节而非中断整个流。
