讲师中心 微信公众号

工具推荐

视频效率加速
Seko
Seko

AI短剧一键生成成片

剧云
剧云

中文短剧剧本制作平台

AniShort
AniShort

AI短剧协同制作平台

Laper
Laper

剧本策划到成片协作

Python requests.get 响应编码不一致问题的根源与解决方案

夜明吖_7300

夜明吖_7300

发布时间:2026-01-21 21:32:24

|

889人浏览过

|

来源于php中文网

原创

Python requests.get 响应编码不一致问题的根源与解决方案

python requests.get 响应编码不一致问题的根源与解决方案:`requests.get()` 返回乱码或编码不一致,常因服务器启用 brotli(br)压缩但 `requests` 默认未解压所致;需安装 `brotli` 或 `brotlicffi` 并确保 `accept-encoding` 头兼容,才能正确解码 utf-8 内容。

在使用 requests 库抓取网页时,你可能会遇到 response.text 输出忽而可读、忽而显示乱码(如大量符号或非 ASCII 字符)的现象,即使 response.encoding 显示为 'utf-8',内容仍不可用。这并非字符编码声明错误,而是响应体实际被压缩但未被正确解压导致的典型问题。

关键线索藏在响应头中:

print(page.headers.get('Content-Encoding'))  # 输出: 'br'

'br' 表示服务器使用了 Brotli 压缩算法——一种比 Gzip 更高效、现代的压缩方式。而 requests(截至 v2.31.0+)默认不支持 Brotli 解压,除非显式安装兼容解压库。

✅ 正确做法如下:

立即学习“Python免费学习笔记(深入)”;

Python Hardener
Python Hardener

通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖,强化 Python 脚本。

下载
  1. 安装 Brotli 支持(任选其一):

    pip install brotli
    # 或(推荐用于 C 扩展性能)
    pip install brotlicffi
  2. 设置合理的 Accept-Encoding 请求头(显式声明支持 gzip,并避免强制要求 br,因 requests 自动协商时若未装 Brotli 库,可能仍收到 br 响应却无法处理):

    import requests
    
    HEADERS = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36',
        'Accept-Language': 'en-US,en;q=0.9',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate',  # ✅ 明确排除 'br',避免不可控压缩
    }
    
    page = requests.get('https://www.powerball.com/', headers=HEADERS)
    print("Encoding:", page.encoding)  # 通常自动推断为 utf-8
    print("Text preview:", page.text[:200])

⚠️ 注意事项:

  • 即使安装了 brotli,若 Accept-Encoding 中包含 'br',requests 会尝试自动解压;但某些旧版本或环境可能存在兼容性问题,稳妥起见建议主动排除 'br'。
  • 不要依赖 page.text 的原始输出判断编码是否正确——应优先检查 page.content(原始字节)是否能用 page.encoding 正确解码:
    try:
        decoded = page.content.decode(page.encoding or 'utf-8')
        print("Decoded successfully")
    except UnicodeDecodeError:
        print("Decoding failed — likely compression or encoding mismatch")
  • 若仍出现异常,可强制指定编码(仅限确认页面真实编码为 UTF-8 时):
    page.encoding = 'utf-8'
    print(page.text)

总结:requests 的编码“不稳定”表象背后,本质是传输层压缩未被识别或解压失败。解决核心在于——安装 Brotli 支持库 + 合理约束 Accept-Encoding 头。二者结合,即可稳定获取正确解码的 UTF-8 文本,彻底告别随机乱码。

热门AI工具

更多
花生AI
花生AI Hot

一款AI视频创作工具,主要用于B站推出的AI视频创作工具,适合需要提升相关任务效率的用户。

讯飞智文

一款面向学习和办公场景的AI文档创作工具,可辅助生成PPT与Word文档,提高资料整理和内容制作效率。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
常见的编码方式
常见的编码方式

常见的编码方式有ASCII编码、Unicode编码、UTF-8编码、UTF-16编码、GBK编码等。想了解更多编码方式相关内容,可以阅读本专题下面的文章。

1548

2023.10.24

a和A对应的ASCII码数值
a和A对应的ASCII码数值

a的ascii码是65,a的ascii码是97;ascii码表中,一个字母的大小写数值相差32,一般知道大写字母的ascii码数值,其对应的小写字母的ascii码数值就算出来了,是大写字母的ascii码数值“+32”。想了解更多相关的内容,可阅读本专题下面的相关文章。

5707

2024.10.24

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

7016

2023.08.14

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

80

2026.11.06

Postman请求头Headers怎么设置
Postman请求头Headers怎么设置

围绕Postman HTTP请求头配置展开,讲解Headers选项的具体使用方式,包括Key和Value参数填写、请求头信息添加、常见Header字段设置及请求头修改方法,帮助用户解决接口调试过程中遇到的请求头配置问题。

40

2026.11.06

Postman接口请求发送教程
Postman接口请求发送教程

详细介绍Postman接口请求的创建与发送方法,涵盖GET和POST请求、URL配置、请求参数、Headers请求头、Body请求体设置以及响应结果查看,帮助用户掌握Postman接口请求的完整操作流程。

80

2026.11.06

DBeaver怎么导入数据
DBeaver怎么导入数据

DBeaver数据导入专题,整理Excel、CSV、SQL、TXT等常见文件的数据导入方法,涵盖目标数据库选择、数据表创建、字段映射、数据类型设置及导入参数配置等操作,帮助用户将本地文件中的数据写入数据库,并了解批量导入、重复数据处理和导入失败等常见问题的解决方法。

60

2026.11.05

DBeaver安全防护教程大全
DBeaver安全防护教程大全

DBeaver安全防护专题,围绕数据库连接安全、账号密码保护和访问权限管理展开,整理SSL/TLS加密连接、SSH隧道、数据库凭据保存及证书验证等配置方法,同时介绍敏感信息保护、远程连接风险和高权限账号使用等注意事项,帮助用户提高数据库日常管理的安全性。

60

2026.11.05

DBeaver连接创建与配置教程
DBeaver连接创建与配置教程

本专题聚焦DBeaver数据库连接配置与管理,覆盖从新建连接、选择数据库类型到填写连接参数和验证连接的完整流程。针对MySQL、PostgreSQL、SQL Server等常见数据库,整理相应的连接设置方法,并提供驱动缺失、认证失败和连接异常等问题的排查方向。

60

2026.11.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn