Scrapy是专为高并发、可运维、需长期迭代的爬虫项目设计的框架，而非初学者工具；它通过内置调度器、中间件机制、结构化数据流和标准部署路径解决企业级爬虫痛点。
Scrapy 不是“适合初学者的爬虫库”，而是专为**高并发、可运维、需长期迭代**的爬虫项目设计的框架。如果你的爬虫要跑在生产环境、支撑运营/风控/BI 数据源、每周更新策略、多人协作维护，Scrapy 就不是“可选”，而是事实上的起点。
为什么不能只用 requests + BeautifulSoup 撑起企业级项目？
常见错误现象：TimeoutError 频发、去重全靠内存 dict、日志无上下文、换代理要改十几处、加个重试逻辑就得重写整个请求循环。
- 没有内置调度器 —— 你得自己实现 URL 去重、优先级队列、请求节流，稍不注意就触发反爬或压垮目标站
- 没有统一中间件机制 —— User-Agent 轮换、Cookie 注入、代理切换、重试逻辑散落在每个
requests.get()里，一改全崩 - 没有结构化数据流 ——
yield出来的字典无法验证字段类型、缺失值、长度限制，下游清洗成本翻倍 - 没有标准部署路径 —— 本地能跑 ≠ 能上
scrapyd，更没法和Prometheus对接监控请求数、失败率、响应延迟
Scrapy 的 Engine 和 Scheduler 怎么解决真实调度问题？
不是“并发多就行”，而是让并发变得可控、可观测、可回溯。
-
Scheduler默认基于dupefilter去重，但生产环境必须换成RedisDupeFilter—— 否则集群多节点间 URL 重复率飙升 -
Engine控制整个闭环：一个Request从生成 → 入队 → 下载 → 解析 → 新Request或Item，每步都可被中间件拦截，比如在Downloader Middleware中根据response.status自动触发降速 - 调度粒度可精确到域名级别：
CONCURRENT_REQUESTS_PER_DOMAIN = 2比全局CONCURRENT_REQUESTS = 16更安全，避免单域名被封
Item Pipeline 真正的价值不在“存数据”，而在“卡住脏数据”
很多团队把 Item Pipeline 当成导出 CSV 的钩子，其实它最该干的是拦截非法数据，防止污染下游。
- 字段缺失时直接
raise DropItem，而不是让空字符串进 MySQL 导致查询失效 - 在
process_item里做轻量清洗：去除不可见字符、标准化日期格式、截断超长文本 —— 这些逻辑如果放在 Spider 里，会和解析逻辑耦合，改一次就要测全链路 - 支持异步写入：用
Twisted的deferToThread把 MySQL 插入扔进线程池，避免阻塞主线程
真正容易被忽略的点：Scrapy 不是“开箱即用”，而是“开箱即配”
它的默认配置（比如 ROBOTSTXT_OBEY = True）在生产环境几乎都要关；DOWNLOAD_DELAY 设成 0 并不意味着快，反而可能因 DNS 缓存未生效导致大量 ConnectionRefusedError；FEED_EXPORT_ENCODING = 'utf-8' 在 Windows 上导出 CSV 会乱码，必须显式设为 'utf-8-sig'。
立即学习“Python免费学习笔记（深入）”；
这些不是 bug，是设计选择 —— Scrapy 把决策权留给使用者，而不是替你做假设。越复杂的项目，越需要亲手调这些参数，而不是复制粘贴教程代码。
