Java高性能爬虫流式下载的核心是让网络响应流直接对接解析器，避免落盘和全量缓存；需用HttpURLConnection配BufferedInputStream建立低延迟通道，设置超时、禁用重定向、关闭keep-alive，并直接将流传给Jsoup或SAX解析器，配合try-with-resources确保资源释放，同时透明处理压缩与编码。
Java 中用 IO 流实现高性能爬虫的流式下载，核心不是“先存再读”，而是让网络响应流直接对接解析器，避免中间落盘和内存全量缓存。关键在于保持数据管道畅通、减少拷贝、控制缓冲与阻塞。
用 HttpURLConnection 配合 BufferedInputStream 建立低延迟流通道
不调用 connection.getInputStream() 后立刻转成字节数组或字符串，而是保留原始输入流，用带缓冲的包装提升吞吐：
- 设置连接超时和读取超时（如 5s 连接 + 10s 读取），防止单个请求拖垮整个爬取线程池
- 禁用自动重定向（
setInstanceFollowRedirects(false)），由爬虫逻辑统一处理 301/302，避免流中断重连丢失上下文 - 用
BufferedInputStream包装原始流，缓冲区建议设为 8192 字节——太小频繁系统调用，太大增加首包延迟 - 务必关闭 keep-alive（
connection.setRequestProperty("Connection", "close")），避免连接复用干扰流边界判断
将 InputStream 直接交给 SAX 或 Jsoup 的流式解析器
避免把整页 HTML 读进 String 或 byte[] 再解析，而是让解析器从流中边读边处理：
java-api-doc-generator
下载
分析 Java Spring Boot 后端 Controller 代码，自动生成 Markdown 格式的接口文档。当用户说“生成 Java 接口文档”、“生成 API 文档”、“从 Spring 代码生成文档”时触发。
- Jsoup 支持
Jsoup.parse(inputStream, charset, url)，内部使用InputStreamReader按需解码，不会缓存全文 - SAX 解析 XML/HTML 片段时，传入
new InputSource(inputStream)，配合自定义DefaultHandler在 startElement 触发时提取目标字段 - 若用 HtmlUnit 或 Selenium，不适用此流式路径——它们必须加载完整 DOM，不适合高吞吐场景
用 try-with-resources 确保流生命周期可控
流一旦开始读取，就必须在解析完成或异常时及时释放，否则连接和 socket 资源会快速耗尽：
立即学习“Java免费学习笔记（深入）”；
- 把
HttpURLConnection、InputStream、解析器资源（如XMLReader）全部纳入同一 try-with-resources 块 - 不要在解析过程中抛出未捕获异常导致流未关闭；对 SAX 的
parse()调用做外层 try-catch，确保 finally 中断连接 - 可封装工具方法：接收 URL 和解析回调，内部管理连接、流、关闭逻辑，对外只暴露“URL → 解析结果”语义
应对编码与压缩的透明处理
网页可能返回 gzip/brotli 压缩内容，或声明了 UTF-8/GBK 等编码，需在流传递前解压解码，但不能破坏流式特性：
- 检查响应头
Content-Encoding，如果是gzip，用GZIPInputStream包装原始流；brotli 需引入org.brotli:dec并用BrotliInputStream - 从响应头
Content-Type提取 charset（如text/html; charset=utf-8），若缺失则按 HTTP 规范 fallback 到 ISO-8859-1，再交由 Jsoup/SAX 自动探测 - 禁止手动调用
inputStream.readAllBytes()或IOUtils.toString()——这等于放弃流式优势
