需自定义下载中间件因网络异常（如超时、DNS失败）在下载阶段被拦截，根本无法到达parse函数；process_exception可捕获DownloadHandler异常并实现重试、日志、代理切换等逻辑。
为什么需要自定义下载中间件而不是直接在parse里处理异常？
因为parse函数只负责处理已成功响应的HTML/JSON，而网络超时、DNS失败、SSL验证错误、代理拒绝连接等根本到不了parse——它们在下载阶段就被Downloader拦截并抛出异常。不介入下载中间件，这些异常默认会终止请求，无法重试、打日志或切换代理。
如何编写一个能捕获并处理常见下载异常的中间件？
Scrapy的下载中间件必须实现process_exception方法，它会在下载器抛出异常时被调用。注意：该方法只对DownloadHandler抛出的异常生效（如TCPTimeoutError、DNSLookupError、ConnectionRefusedError），不包括HTTP状态码异常（如403、500）——那些需靠handle_httpstatus_list或HttpErrorMiddleware处理。
实操建议：
- 继承
object即可，无需继承特定基类 - 在
process_exception中判断exception类型，用isinstance(exception, scrapy.exceptions.IgnoreRequest)可区分是否已被其他中间件忽略 - 返回
None表示不干预，让后续中间件或引擎处理；返回scrapy.http.Response对象（如构造一个空响应）可强行“消化”异常；返回scrapy.http.Request可发起重试（需确保不无限循环） - 务必检查
request.meta.get('dont_redirect')或自定义标记（如'retry_times'），避免无限制重试
示例片段：
python-script-generator
下载
快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。
立即学习“Python免费学习笔记（深入）”；
class MyRetryMiddleware:
def process_exception(self, request, exception, spider):
if isinstance(exception, (TwistedTimeoutError, DNSLookupError)):
spider.logger.warning(f"Network error on {request.url}: {exception}")
# 加入重试逻辑，但限制次数
retry_times = request.meta.get('retry_times', 0)
if retry_times < 2:
new_request = request.copy()
new_request.meta['retry_times'] = retry_times + 1
return new_request
elif isinstance(exception, ConnectionRefusedError):
spider.logger.error(f"Proxy refused: {request.url}")
# 可在此切换代理IP或禁用当前代理
request.meta['proxy'] = None
注册中间件时容易忽略的三个关键点
中间件不是写完就能生效，注册环节常出错：
-
DOWNLOADER_MIDDLEWARES字典里的键必须是**完整路径字符串**，例如'myproject.middlewares.MyRetryMiddleware'，不能只写类名 - 数值决定执行顺序：数字越小越早执行。如果想让它在
RetryMiddleware（默认500）之前运行，设为499；若想在之后（比如先让默认重试，再做日志），设为501 - 启用必须设为非零值，
0和None都会导致不加载；常见错误是写成MyRetryMiddleware: 0，结果中间件完全不触发
自定义异常中间件后仍收不到预期日志或重试？检查这几点
最常卡住的地方不是代码逻辑，而是环境与配置细节：
- 确认异常确实来自下载层：用
scrapy shell 'https://httpbin.org/delay/10'加--set DOWNLOAD_TIMEOUT=1复现TwistedTimeoutError，比在线网站更可控 - 检查
LOG_LEVEL是否为DEBUG或WARNING，INFO级别下spider.logger.warning可能被过滤 - 确认
RETRY_ENABLED = True（默认开启），否则即使你返回新Request，Scrapy引擎也会直接丢弃 - 如果用了
scrapy-rotating-proxies等第三方代理中间件，它的异常可能被提前吞掉——此时需把它放在你的中间件之后（数值更大），或在其源码里找钩子
真正麻烦的从来不是写中间件，而是搞清异常到底在哪一层被截断、谁先谁后、日志往哪走。调试时打开--loglevel DEBUG，盯住scrapy.core.downloader.handlers.http11和scrapy.downloadermiddlewares.retry这两块日志，比猜快得多。
