Java爬虫应优先检查HTTP响应头Content-Type中的charset，其次解析HTML meta标签，最后用juniversalchardet对字节内容探测编码；统一用new String(byteArray, charset)解码并添加容错与日志。
Java 爬虫中自动识别网页响应编码，不能只依赖 HTTP Header 或 meta 标签，因为这两处常缺失、错误或被刻意误导。真正可靠的方案是结合内容特征做统计推断，核心思路是“先读原始字节，再用探测器分析，最后按正确编码解码”。
优先检查 HTTP 响应头的 Content-Type
这是最快、最轻量的方式。从 URLConnection 或 HttpClient 的响应头中提取 Content-Type 字段，正则匹配 charset=xxx：
- 若存在且值为
UTF-8、GBK、ISO-8859-1等标准编码名，可直接使用 - 注意大小写不敏感，也需处理空格、引号（如
charset="gb2312"） - 若字段缺失、值为空或为
ISO-8859-1（HTTP 默认 fallback），不能信任，需进入下一步
再解析 HTML 中的 meta charset 声明
读取响应体前几百到一千字节（避免全加载），用正则或简易 HTML 提取逻辑查找 <meta.> 模式：</meta.>
- 常见形式：
<meta charset="UTF-8">、<meta http-equiv="Content-Type" content="text/html; charset=gbk"> - 只扫描开头部分即可，兼顾效率与覆盖率
- 若匹配到有效编码名（如
utf8、gb2312），可作为候选；但某些网站会写错（例如声明 UTF-8 实际存 GBK），仍需验证
用 juniversalchardet 或 cpdetector 做内容级探测
当以上两步不确定时，必须靠字节内容本身判断。推荐使用 juniversalchardet（Mozilla 官方算法 Java 移植）：
立即学习“Java免费学习笔记（深入）”；
- 创建
UniversalDetector实例，将响应流的前 4096 字节（或整个 body 字节数组）喂给detector.handleData() - 调用
detector.dataEnd()触发分析，再用detector.getDetectedCharset()获取结果 - 返回非 null 且置信度较高（如
detector.getConfidence() > 50）才采用；否则回退到 UTF-8 + 替换异常字符（new String(bytes, StandardCharsets.UTF_8)）
统一解码与容错处理
无论哪种方式得到编码，最终构造字符串时务必用 new String(byteArray, charsetName)，而不是依赖输入流自带的默认解码：
- 避免用
InputStreamReader直接套用系统默认编码（如 Windows 上是 GBK，Linux 是 UTF-8） - 对探测失败或低置信度的情况，可尝试 UTF-8 解码后检查是否含大量 符号，再 fallback 到 GBK/Big5 重试一次
- 生产环境建议加日志：记录 URL、探测到的编码、置信度、首 100 字符预览，便于排查乱码根源
