讲师中心 微信公众号
AI工具推荐 视频效率加速

Python Requests 自动启用 zstd 编码的原理与禁用方法

风浩同学_3197

风浩同学_3197

发布时间:2026-10-15 12:15:23

|

984人浏览过

|

来源于php中文网

原创

Python Requests 自动启用 zstd 编码的原理与禁用方法

当系统中安装了 zstandard 库时,Requests 会自动在 Accept-Encoding 请求头中加入 zstd,导致服务器返回 zstd 压缩的响应体;若代码未显式解压,response.content 将呈现乱码二进制数据——本文详解其机制并提供安全、全局、无需修改业务代码的禁用方案。

当系统中安装了 `zstandard` 库时,requests 会自动在 `accept-encoding` 请求头中加入 `zstd`,导致服务器返回 zstd 压缩的响应体;若代码未显式解压,`response.content` 将呈现乱码二进制数据——本文详解其机制并提供安全、全局、无需修改业务代码的禁用方案。

Requests 库自 v2.31.0 起(2023年发布)引入了对 zstd 压缩编码的自动协商支持:只要 Python 环境中存在已安装的 zstandard 第三方库(pip install zstandard),Requests 就会在默认请求头中将 zstd 加入 Accept-Encoding 字段(顺序通常为 'gzip, deflate, br, zstd')。这一设计初衷是提升传输效率,但带来一个隐蔽的兼容性陷阱:Requests 仅负责发送 zstd 请求头,却不会自动解压 zstd 响应体——解压逻辑需开发者手动调用 zstandard 接口完成。因此,当脚本直接读取 response.content(如 requests.get(url).content)时,拿到的是未经解压的原始 zstd 字节流,表现为不可读的乱码二进制,进而导致解析失败、XML/HTML 解析器报错、CSV 写入异常等连锁问题。

✅ 根本原因定位

该行为并非 Requests 内置逻辑,而是由 urllib3(Requests 的底层 HTTP 引擎)的自动编码协商机制触发。具体路径如下:

  • requests → urllib3 → 检测可用压缩模块 → 若 zstandard 可导入,则启用 zstd 编码支持 → 自动注入请求头。

可通过以下代码快速验证是否受此影响:

import requests
print("zstandard available:", bool(__import__('zstandard', raise_on_error=False)))
print("Default Accept-Encoding:", requests.utils.default_headers()['Accept-Encoding'])

? 安全禁用 zstd 的三种推荐方式(按优先级排序)

✅ 方案一:卸载 zstandard(最简洁、最彻底)

适用于无需 zstd 压缩能力的生产环境(如 Synology DSM7 等嵌入式场景):

立即学习“Python免费学习笔记(深入)”;

pip uninstall -y zstandard

⚠️ 注意:执行后需重启 Python 进程(如重启 Synology 的 Task Scheduler 中的脚本服务),确保 urllib3 重新检测模块状态。此方案零侵入、无副作用,且避免了潜在的 zstd 版本兼容性问题(如 DSM7 内置 Python 3.9 与新版 zstandard 的 ABI 冲突)。

Forge — Python Developer
Forge — Python Developer

Python开发助手 — 自动化脚本、API封装、命令行工具、数据管道、网页爬虫。经过测试的代码,包含错误处理和文档。当你需要...

下载

✅ 方案二:全局禁用 zstd 编码(推荐用于多项目共享环境)

在所有 requests 调用前,一次性重置 urllib3 的编码协商白名单:

import urllib3

# 禁用 zstd —— 仅保留 gzip/deflate/br(现代主流编码)
urllib3.util.request._default_accept_encodings = ['gzip', 'deflate', 'br']

# 后续所有 requests 请求均不再发送 'zstd'
import requests
resp = requests.get("https://www.23andmedatasettlement.com/")
print(resp.text[:100])  # ✅ 正常输出 HTML 文本

? 原理:urllib3.util.request._default_accept_encodings 是控制默认 Accept-Encoding 值的私有列表,直接覆盖即可。此方式无需卸载包,适合需保留 zstandard 供其他模块(如日志压缩、离线归档)使用的场景。

✅ 方案三:会话级配置(适合精细化控制)

对特定 Session 实例统一禁用,兼顾灵活性与安全性:

import requests

session = requests.Session()
# 移除 zstd,强制使用经典编码
session.headers['Accept-Encoding'] = 'gzip, deflate, br'

# 所有通过该 session 发起的请求均生效
resp = session.get("https://example.com")

? 提示:若使用 requests.adapters.HTTPAdapter 自定义连接池,也可在 init_poolmanager() 中注入该 header,实现更底层的统一管控。

⚠️ 不推荐的错误做法

  • ❌ verify=False 或 stream=True:无法解决编码协商问题;
  • ❌ headers={'Accept-Encoding': 'identity'}:可能被服务器拒绝或降级为无压缩,且需逐处修改;
  • ❌ 依赖 response.text 自动解码:text 属性仅处理字符编码(UTF-8/GBK),不处理传输层压缩。

? 总结建议

场景 推荐方案 说明
Synology / NAS / 轻量服务器 卸载 zstandard 环境纯净、维护成本最低
企业内网多项目共用 Python 环境 全局重置 _default_accept_encodings 一次配置,全域生效,不影响其他功能
需要部分请求启用 zstd(如上传日志) Session 级配置 + 按需启用 最大化灵活性,但需额外开发成本

✅ 终极提醒:Python 3.14(2025年10月发布)已将 compression.zstd 纳入标准库,未来 Requests 可能原生支持自动解压。但在当前主流版本(3.9–3.13)及 DSM7 等受限环境中,主动禁用 zstd 请求头仍是稳定运行的必要实践。

热门AI工具

更多
UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1731

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4444

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1709

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

26037

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3167

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3187

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1183

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

596

2023.08.10

Linux 新手先学哪些命令
Linux 新手先学哪些命令

Linux新手命令专题汇集终端基础、文件目录操作、文本查看、软件安装和权限管理等入门文章,帮助按实际任务练习常用命令并建立命令行操作习惯。

0

2026.10.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn