requests必须显式设timeout=(3,7)并禁用自动重定向,否则易卡死或误判;urllib.urlopen默认无超时、自动跳转且4xx/5xx全抛异常,可控性差。

直接用 requests 发 GET 请求并检查状态码就行,但批量检测时最容易卡在超时、重定向和连接拒绝上,不设超时或忽略异常会整个脚本挂死。
为什么不能只用 urllib.request.urlopen()
这个函数默认无超时,遇到响应慢的链接(比如 30 秒才返回)会阻塞;它还把 4xx/5xx 当成异常抛出,得层层 try/except 捕获;更麻烦的是,它对重定向(如 301/302)默认自动跟随,你根本不知道原始链接是否已失效,只看到跳转后的结果。用 requests 更可控:
-
timeout参数必须显式设置,建议timeout=(3, 7)(3 秒连通,7 秒读取) -
allow_redirects=False可关掉自动跳转,看清原始响应码 -
requests.exceptions.RequestException一个父类就能捕获连接、超时、DNS 等所有网络异常
如何避免被目标网站封禁或限速
批量请求同一域名时,没延迟大概率被 429 Too Many Requests 或直接断连。别用 time.sleep(1) 硬等——太慢且不稳。实际做法是:
- 用
concurrent.futures.ThreadPoolExecutor控制并发数,设max_workers=5比设 20 更稳妥 - 每个请求前加随机延迟:用
random.uniform(0.5, 2.0)避开固定节奏 - 带上基础请求头,比如
{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'},否则部分站点直接返回 403
怎么判断一个链接“有效”而不是“只是没报错”
状态码是基础,但不够。比如返回 200 却是“页面未找到”的自定义 HTML,或重定向到错误页。关键看三点:
立即学习“Python免费学习笔记(深入)”;
- HTTP 状态码在
[200, 204, 301, 302, 307]范围内(3xx 表示有跳转,不算失效) - 响应头
Content-Type包含text/、application/json等可读类型,排除binary/octet-stream这类纯下载链接(按需) - 如果要严格验证内容,可加简单检查:比如
len(response.text) > 100或'404' not in response.text.lower(),但别全量解析 HTML——太重
真正难处理的是那些 DNS 失败、SSL 证书过期、或反爬中间件返回的“假 200”。这类问题没法靠一次请求判准,得结合重试(最多 2 次)、不同 User-Agent 切换、甚至降级用 HEAD 方法试探——但多数场景下,设好超时+异常捕获+合理并发,已经能覆盖 90% 的日常需求。


















