aiohttp异步爬虫核心是“不等”而非“快”，需用ClientSession复用连接、await处理I/O、设timeout防卡死、用resp.json()解析JSON、加User-Agent防封，避免requests混用。
用 aiohttp 写异步爬虫，核心不是“快”，而是“不等”——当一个请求在等响应时，程序立刻切去做别的事。这要求你放弃 requests + 多线程的老思路，真正按协程逻辑组织代码。
为什么不用 requests + asyncio.run()？
requests 是同步阻塞库，即使包在 async def 里，它一发请求就会卡住整个事件循环。强行用 loop.run_in_executor 跑 requests，只是把线程池搬进异步壳子，没发挥 aiohttp 的轻量并发优势。
- aiohttp 基于 asyncio，所有 I/O 操作（DNS、TCP 握手、读响应体）都可挂起让出控制权
- 单个 aiohttp.ClientSession 可复用连接池，避免反复建连开销
- 错误处理需适配：aiohttp 抛的是
aiohttp.ClientError及其子类，不是 requests.exceptions.RequestException
基础结构：Session、get、await 缺一不可
别直接 aiohttp.get(url) —— 它是便捷封装，内部仍创建新 session，高并发下会耗尽本地端口或触发连接拒绝。正确写法：
import aiohttp
import asyncio
<p>async def fetch(session, url):
try:
async with session.get(url, timeout=10) as resp:
return await resp.text()
except aiohttp.ClientError as e:
print(f"请求失败 {url}: {e}")
return None</p><p>async def main():</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记（深入）</a>”；</p><div class="aritcle_card flexRow">
<div class="artcardd flexRow">
<a class="aritcle_card_img" href="/xiazai/skill11765" title="Expanso yaml-to-json"><img
src="https://img.php.cn/upload/skill/001/246/273/6adaf20dbae7c507.jpg" alt="Expanso yaml-to-json" ></a>
<div class="aritcle_card_info flexColumn">
<a href="/xiazai/skill11765" title="Expanso yaml-to-json">Expanso yaml-to-json</a>
<p>使用 Expanso Edge 管道将 YAML 输入转换为 JSON 格式。</p>
</div>
<a href="/xiazai/skill11765" title="Expanso yaml-to-json" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
</div>
</div><h1>全局复用 session</h1><pre class="brush:php;toolbar:false;">async with aiohttp.ClientSession() as session:
tasks = [fetch(session, url) for url in urls]
results = await asyncio.gather(*tasks)
return results
-
async with session.get(...)确保响应体读完后自动释放连接 -
timeout=10必设，否则 DNS 卡住或服务器无响应会导致整个任务挂死 -
asyncio.gather并发触发所有 task，返回顺序与输入一致；若要失败不中断，加return_exceptions=True
实战避坑：User-Agent、限速、JSON 解析
目标网站通常校验 headers，且高频请求易被封。aiohttp 不自动带 User-Agent，必须手动加：
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"}
async with aiohttp.ClientSession(headers=headers) as session:
...
- 解析 JSON 别用
json.loads(resp.text())——resp.json()是异步方法，内部已处理编码和解码，直接await resp.json() - 限速用
asyncio.sleep(0.1)放在每次请求后，比 time.sleep 安全；更稳的方式是用asyncio.Semaphore(5)控制并发数 - 处理重定向：默认跟随，如需禁用，传
allow_redirects=False；检查状态码用resp.status == 200，不是resp.ok（aiohttp 中ok属性不存在）
进阶：代理、SSL 验证、Cookie 维持
需要代理时，传 proxy="http://user:pass@host:port" 到 session.get()；若用 socks，需额外装 aiohttp-socks 并传 connector。
- 跳过 SSL 验证（仅测试用）：
connector = aiohttp.TCPConnector(ssl=False)，再传给ClientSession(connector=connector) - 维持登录态：aiohttp 默认启用 Cookie 处理，只要首次登录成功（
session.post(login_url, data=...)），后续请求自动携带 Cookie - 上传文件用
data={"file": open("a.jpg", "rb")}，注意文件对象需在 async context 外打开，或改用data=aiohttp.FormData()
异步爬虫不是魔法，它放大了你对网络、协议和错误的敏感度。写好 aiohttp 的关键，是把每个 await 当作一次“可能等待”的明确声明，而不是套个 async 就算改造完成。
