网页抓取乱码的核心原因是解码编码与网页实际编码不一致，解决关键是动态识别真实编码：优先从HTTP响应头的Content-Type提取charset，其次解析HTML中meta标签的charset，最后fallback至UTF-8或GBK，并注意gzip解压与响应流缓存。
网页抓取乱码，核心原因是读取时用的编码和网页实际编码不一致。比如网页是 UTF-8 编码，你用 GBK 去解码，字节对不上，自然显示为“锟斤拷”或方块。解决的关键不是硬写死一种编码，而是动态识别网页真实编码，再按需解码。
优先从 HTTP 响应头获取 charset
服务器在返回 HTML 时，通常会在响应头中声明编码，例如：
Content-Type: text/html; charset=utf-8这是最可靠的信息源。Java 中可用 HttpURLConnection 或 HttpClient 获取响应头：
- 调用
connection.getContentType()或response.getFirstHeader("Content-Type") - 用正则或字符串解析提取
charset=xxx后面的值（注意忽略大小写和空格） - 若成功提取（如 "utf-8"、"gbk"、"gb2312"），直接用于后续解码
响应头没 charset 就查 HTML 的 <meta> 标签
很多网站不规范，响应头不带 charset，但会在 HTML 的 <head> 中写明，例如：
立即学习“Java免费学习笔记（深入）”；
或 HTML5 风格：
<meta charset="UTF-8">操作要点：
- 先用默认编码（推荐 ISO-8859-1）读取响应体前 1024–2048 字节——这个编码能无损还原原始字节，避免提前乱码
- 在该字节片段中用正则匹配
charset=["']?([^"'>]+)或charset=([^"'>\s]+) - 提取到编码后，重新用该编码完整读取整个响应流（注意：网络流只能读一次，建议先读入 byte[] 缓存）
实在无法识别时设合理默认值
极少数页面既无响应头 charset，也无有效 meta，甚至 meta 写得模糊（如只写 "gb"）。此时需 fallback：
- 中文网页主流就两种：UTF-8 和 GBK（含 GB2312）
- 优先试 UTF-8（现代网站占比超 90%），解码失败再试 GBK
- 不建议用系统默认编码（如 Windows 上是 GBK，Linux 上常是 UTF-8），会导致跨环境行为不一致
- 可封装一个简易探测逻辑：
new String(bytes, "UTF-8").contains("") ? new String(bytes, "GBK") : ...，但仅作兜底，勿替代前两步
别忘了开启 gzip 并缓存响应流
实际抓取中两个易忽略但影响效率的点：
- 请求头加上
Accept-Encoding: gzip,deflate，多数网站会返回压缩内容，体积减小 60%+，速度明显提升 - 网络输入流（
InputStream）不可重复读。为支持多次编码尝试，务必先读入byte[]或ByteArrayInputStream，再交给InputStreamReader按不同编码解析 - 示例关键代码：
byte[] raw = IOUtils.toByteArray(response.getEntity().getContent());<br> String html = new String(raw, detectedCharset);
