Scrapy需手动集成加密逻辑，因数据库字段级加密使process_item无法感知加密状态，导致明文泄露、日志风险及密钥暴露；推荐用cryptography.Fernet在Pipeline中对敏感字段加密，密钥须从环境变量读取并严格管控生命周期。
Scrapy 本身不提供加密能力，必须手动集成加密逻辑到 process_item() 中；直接在 Pipeline 里调用 hashlib 或 cryptography 是最可控、最易审计的做法。
为什么不能只靠数据库字段级加密？
数据库层加密（如 MySQL 的 AES_ENCRYPT）会让 Scrapy 无法感知加密状态，导致：
- process_item() 返回的 item 仍是明文，后续 Pipeline（比如去重、校验）可能误判；
- 日志、调试输出、中间件捕获的数据全是原始值，敏感信息仍会泄露；
- 加密密钥若硬编码在 SQL 语句里，等于暴露在配置或日志中。
如何用 cryptography 库安全加密指定字段？
推荐使用 cryptography 的 Fernet（对称加密），它强制要求密钥由 base64.urlsafe_b64encode() 编码，且自动处理 nonce 和 HMAC。操作要点：
- 密钥必须从环境变量读取，绝不可写死在代码或 settings.py 里；
- 只加密明确标记为敏感的字段（如 item["phone"]、item["id_card"]），非敏感字段保持原样；
- 加密失败时抛出 DropItem，避免脏数据进入下游；
- 不在 open_spider() 中初始化密钥，而是在 __init__() 里检查环境变量是否存在。
from cryptography.fernet import Fernet
from scrapy.exceptions import DropItem
import os
<p>class SensitiveDataEncryptPipeline:
def <strong>init</strong>(self):
key = os.getenv("ENCRYPTION_KEY")
if not key:
raise ValueError("ENCRYPTION_KEY 环境变量未设置")
self.cipher = Fernet(key.encode())</p><pre class='brush:python;toolbar:false;'>def process_item(self, item, spider):
sensitive_fields = ["phone", "id_card", "email"]
for field in sensitive_fields:
if item.get(field):
try:
# 转为 bytes，加密，再转回 str 存入 item
encrypted = self.cipher.encrypt(str(item[field]).encode())
item[field] = encrypted.decode() # 存 Base64 字符串
except Exception as e:
raise DropItem(f"加密 {field} 失败: {e}")
return item加密后怎么验证解密可用性？
别等到上线才发现密钥错位或编码异常。在本地调试时：
- 启动爬虫前，用相同密钥手动加密一段测试值，确认能被 Fernet 正确解密；
- 在 Pipeline 的 process_item() 末尾加临时断点，检查加密后字段是否为合法 Base64 字符串（可用 base64.b64decode(item["phone"], validate=True) 快速验证）；
- 如果用 SQLite 或 JSON 存储，加密字段必须是字符串类型，不能是 bytes，否则会报 TypeError: expected str, bytes or os.PathLike object；
- 生产环境密钥轮换时，旧数据需配合迁移脚本解密再重加密，Pipeline 本身不处理多密钥兼容。
真正容易被忽略的是密钥生命周期管理——ENCRYPTION_KEY 一旦写进 Docker 镜像或 CI 日志，就等于失效。加密不是加个函数就完事，而是从密钥注入、字段标记、错误隔离到运维回滚，整条链路都得闭环。
