直接用for循环并发爬取易崩，因缺乏任务隔离与流量节制，易触发限流、IP封禁、DNS耗尽或连接池打满，且单个失败会中断全部任务；队列实现可控流水线，支持暂停、重试与监控。
为什么直接用 for 循环并发爬取容易崩
因为没做任务隔离和流量节制，requests.get() 一拥而上会触发目标站限流、IP 封禁，或本地 DNS 耗尽、连接池打满。更麻烦的是，某个 URL 失败（比如 404 或超时）会中断整个循环，后续任务全卡住。
用队列不是为了“高大上”，是让爬取变成可暂停、可重试、可监控的流水线。
-
queue.Queue适合单进程多线程场景，线程安全，但不跨进程 - 需要分布式或多机协同？换
redis或RabbitMQ做消息中间件，Python 用redis-py或pika接入 - 别把所有 URL 一次性
put()进去——内存扛不住；边生成边塞，配合task_done()控制节奏
用 threading + queue 实现可控并发爬虫
核心是让工作线程从队列取任务、执行、标记完成，主线程只管投喂和等待。不需要第三方库，标准库够用。
import queue
import threading
import requests
from urllib.parse import urljoin
<p>def fetch_page(q: queue.Queue, results: list):
while True:
try:
url = q.get(timeout=1)
if url is None: # 结束信号
break
resp = requests.get(url, timeout=5)
results.append((url, resp.status_code, len(resp.content)))
except Exception as e:
results.append((url, "ERROR", str(e)))
finally:
q.task_done()</p><h1>启动 3 个线程</h1><p>q = queue.Queue()
results = []
for _ in range(3):
t = threading.Thread(target=fetch_page, args=(q, results))
t.daemon = True
t.start()</p><h1>投放任务</h1><p>urls = ["<a href="https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c">https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c</a>", "<a href="https://www.php.cn/link/8c4b0479f20772cb9b68cf5f161d1e6f">https://www.php.cn/link/8c4b0479f20772cb9b68cf5f161d1e6f</a>"]
for url in urls:
q.put(url)</p><p>q.join() # 等所有任务完成</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记（深入）</a>”；</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/xiazai/skill6933" title="python-script-generator"><img
src="https://img.php.cn/upload/skill/000/000/081/179119443150703.jpg" alt="python-script-generator" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/xiazai/skill6933" title="python-script-generator">python-script-generator</a>
<p>快速生成专业的 Python 脚本和应用代码。一键创建完整项目结构，支持CLI、API、爬虫、Bot、Django等多种项目类型，包含完整的项目结构、配置文件、依赖管理、测试、README和文档。</p>
</div>
<a href="/xiazai/skill6933" title="python-script-generator" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div>注意：q.join() 不等于“所有线程退出”，它只等 task_done() 被调用次数等于 put() 次数。漏调或多调都会死锁。
如何避免重复抓取和无限重试
队列本身不记录历史，得自己加一层去重和状态管理。简单方案：用 set 记已抓 URL，失败任务写进新队列重试，但要限制重试次数。
- URL 去重必须标准化：去掉 fragment、统一 scheme 和 trailing slash，推荐用
urllib.parse.urldefrag()和urljoin() - 重试不要用
time.sleep()原地等——会卡死线程；改用带 delay 的新任务重新put()到队列，比如(url, retry_count + 1) - 超时、5xx、连接异常才重试；404、403 直接丢弃，重试也没用
生产环境必须加的三个控制点
本地跑通不等于能上线。真实场景下，DNS 解析慢、SSL 握手失败、反爬 header 缺失，都会让队列堆积甚至假死。
- 给
requests.Session()配mount("https://", HTTPAdapter(max_retries=2))，比裸get()更稳 - 每线程配独立 session，别共用——
Session不是线程安全的 - 加信号量（
threading.Semaphore）控并发数，比单纯开 N 个线程更精细：比如同一域名最多 2 个请求在飞
最易被忽略的是日志粒度：不要只记“成功/失败”，要记耗时、响应头里的 X-RateLimit-Remaining、重定向链路。这些才是调优依据。
