讲师中心 微信公众号
AI工具推荐 视频效率加速

Python Requests 自动启用 zstd 编码的成因与禁用方案

夜涛酱_1171

夜涛酱_1171

发布时间:2026-10-15 12:02:29

|

597人浏览过

|

来源于php中文网

原创

Python Requests 自动启用 zstd 编码的成因与禁用方案

当系统中安装了 zstandard 库时,Requests 会自动在 Accept-Encoding 请求头中加入 zstd,导致服务器返回 zstd 压缩的二进制内容而未自动解压,从而破坏原有脚本逻辑;可通过卸载 zstandard 或全局禁用 zstd 支持来彻底解决。

当系统中安装了 `zstandard` 库时,requests 会自动在 `accept-encoding` 请求头中加入 `zstd`,导致服务器返回 zstd 压缩的二进制内容而未自动解压,从而破坏原有脚本逻辑;可通过卸载 `zstandard` 或全局禁用 zstd 支持来彻底解决。

在 Python 生态中,requests 库默认支持多种压缩编码(如 gzip、deflate、br),并会在发送请求时根据已安装的第三方库动态扩展 Accept-Encoding 头。自 requests v2.31.0 起(2023年中引入),若检测到系统已安装 zstandard(即 pip install zstandard),便会自动将 zstd 添加至默认的 Accept-Encoding: gzip, deflate, br, zstd 中——但关键在于:Requests 当前版本(截至 2026 年)仍不原生支持 zstd 解压缩。这意味着:

  • 服务器若响应 Content-Encoding: zstd,Requests 不会自动解压;
  • .content 返回的是原始 zstd 压缩字节流(如你看到的乱码二进制),而非可读 HTML;
  • .text 或 .json() 等方法将直接失败或解析出错。

这正是你的 Synology DSM7 升级后脚本异常的根本原因:DSM7 的 Python 环境可能预装或间接依赖了 zstandard(例如通过 trafilatura、httpx 或其他爬虫工具链),触发了该行为。

✅ 推荐解决方案(按优先级排序)

1. 卸载 zstandard(最简单、最彻底)

pip uninstall zstandard -y

✅ 优势:一劳永逸,不影响任何其他库;Requests 检测不到该模块,自然不会添加 zstd 到 Accept-Encoding。
⚠️ 注意:仅当你不需要 zstd 压缩功能(如不使用 zstandard 进行本地数据压缩/解压)时适用。

2. 全局禁用 zstd(保留库但阻止 Requests 启用)

Requests 的编码协商逻辑位于 urllib3.util.response.acceptable_encodings(),但更实用的方式是在发起请求前显式覆盖默认头。可在项目入口统一设置:

import requests

# 全局禁用 zstd:重置 Session 的默认 Accept-Encoding
session = requests.Session()
session.headers['Accept-Encoding'] = 'gzip, deflate, br'  # 显式排除 zstd

# 后续所有请求均生效
response = session.get("https://www.23andmedatasettlement.com/")
print(response.text[:200])  # 正常输出 HTML 片段

或者,若必须使用 requests.get 等顶层函数,可 monkey patch(谨慎使用):

Forge — Python Developer
Forge — Python Developer

Python开发助手 — 自动化脚本、API封装、命令行工具、数据管道、网页爬虫。经过测试的代码,包含错误处理和文档。当你需要...

下载

立即学习“Python免费学习笔记(深入)”;

from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

# 强制所有 requests.* 方法默认不发 zstd
original_send = HTTPAdapter.send
def patched_send(self, request, **kwargs):
    # 移除 Accept-Encoding 中的 zstd
    ae = request.headers.get('Accept-Encoding', '')
    if 'zstd' in ae:
        request.headers['Accept-Encoding'] = ', '.join(
            e.strip() for e in ae.split(',') if e.strip().lower() != 'zstd'
        )
    return original_send(self, request, **kwargs)

HTTPAdapter.send = patched_send

3. 临时绕过(单次请求)

requests.get(
    "https://www.23andmedatasettlement.com/",
    headers={"Accept-Encoding": "gzip, deflate, br"}  # 显式指定,覆盖默认
)

? 验证是否已修复

执行以下代码确认 zstd 不再出现在请求头中:

import requests
resp = requests.get("https://httpbin.org/get", headers={"User-Agent": "test"})
print("Actual Accept-Encoding:", resp.request.headers.get("Accept-Encoding"))
# ✅ 正确输出应为:gzip, deflate, br (不含 zstd)

? 补充说明:为什么不能靠 verify=False 或 stream=True?

  • verify=False 仅跳过 SSL 校验,与编码无关;
  • stream=True 仅延迟响应体读取,不改变解码行为;
  • response.raw.read() 仍返回原始 zstd 字节,需手动解压(需 zstandard + 额外代码),违背“零修改脚本”的初衷。

? 总结建议

方案 适用场景 维护成本 是否推荐
pip uninstall zstandard 无 zstd 业务需求 ★☆☆☆☆(一次) ✅ 强烈推荐
Session 设置默认头 需保留 zstandard 作他用 ★★☆☆☆ ✅ 推荐
Monkey patch 大型遗留项目无法改初始化逻辑 ★★★★☆ ⚠️ 仅应急

✅ 最佳实践:在自动化部署脚本(如 Dockerfile 或 DSM 任务计划)中,明确声明 RUN pip uninstall -y zstandard,从源头规避风险。Python 3.14 已将 compression.zstd 纳入标准库,但 Requests 尚未适配其解压能力——因此现阶段主动禁用仍是生产环境的稳健选择。

热门AI工具

更多
DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

1751

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

4504

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

1729

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

26497

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3207

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3227

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

1183

2023.08.11

python合并两个列表
python合并两个列表

Python是一种强大的编程语言,具有许多方便的功能和工具。在Python中,有多种方法可以合并两个列表。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

596

2023.08.10

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

0

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Uvicorn官方安装与入门手册
Uvicorn官方安装与入门手册

共0课时 | 0人学习

Python uv官方项目管理指南
Python uv官方项目管理指南

共0课时 | 0人学习

Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn