识别网页高清图需优先检查img标签的data-original、data-src、srcset等属性，而非仅依赖src；srcset需解析带w后缀的最大宽度URL，data-*属性须显式提取，相对路径需补全，并模拟浏览器请求头防反爬。
识别网页中高清图的常见HTML特征
很多网站把缩略图和原图分开存放，缩略图在 <img> 的 src 属性里，而高清图藏在 data-src、data-original、data-fullsize 或 srcset 里。有些站点甚至把原图URL拼在缩略图路径末尾（比如把 thumb_abc.jpg 改成 full_abc.jpg），或用固定后缀替换（.webp?size=120 → .jpg）。
- 直接读
src下载的往往是低清图，尤其在响应式站点上 -
srcset值是一串逗号分隔的URL WIDTHw，需提取最大宽度对应的URL -
data-*属性需要显式检查，不能依赖默认解析逻辑 - 部分图片URL是相对路径，要用
urllib.parse.urljoin()补全
用requests + BeautifulSoup安全下载带反爬的图片
直接用 requests.get() 请求图片URL常被返回403或空内容——因为服务器校验 Referer 和 User-Agent。必须模拟浏览器行为：
- 设置
headers = {"User-Agent": "Mozilla/5.0...", "Referer": page_url} - 对含登录态的页面，先用
requests.Session()登录并复用 cookies - 遇到重定向（如302跳转到CDN域名），确保
allow_redirects=True并检查最终response.url是否仍是图片地址 - 下载前用
response.headers.get("Content-Type")判断是否为image/jpeg等，避免保存HTML错误页
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
<p>session = requests.Session()
session.headers.update({"User-Agent": "Mozilla/5.0..."})</p><p>def get_image_urls(page_url):
r = session.get(page_url)
soup = BeautifulSoup(r.text, "html.parser")
urls = []
for img in soup.find_all("img"):</p><h1>优先取 data-original</h1><pre class='brush:python;toolbar:false;'> url = img.get("data-original") or img.get("data-src") or img.get("src")
if url:
full_url = urljoin(page_url, url.strip())
urls.append(full_url)
return urls处理srcset和动态生成的高清图URL
srcset 字符串不是标准JSON，不能用 json.loads。要手动按逗号切分，再对每段用空格拆出URL和描述（如 "<a href="https://www.php.cn/link/12fab7a1d259efd5295bbbceadb09f81">https://www.php.cn/link/12fab7a1d259efd5295bbbceadb09f81</a> 2x" 或 "<a href="https://www.php.cn/link/7532e11ff40e244cedde99f723f5e882">https://www.php.cn/link/7532e11ff40e244cedde99f723f5e882</a> 1200w"）。关键点：
- 优先选带
w后缀的项（表示像素宽度），取最大w对应的URL - 若只有
x后缀（如2x），需结合设备像素比推测，但批量场景下通常直接取最后一个更稳妥 - 部分站点在
srcset里混入 WebP 和 JPG，优先选.jpg或.png后缀（兼容性更好）
def parse_srcset(srcset: str, base_url: str) -> str:
candidates = []
for part in srcset.split(","):
part = part.strip()
if not part:
continue
url_part, *desc = part.split()
if len(desc) == 0:
candidates.append(urljoin(base_url, url_part))
else:
if "w" in desc[0]:
candidates.append(urljoin(base_url, url_part))
return candidates[-1] if candidates else ""
下载时避免被封、乱码、文件损坏
- 单IP高频请求易触发限流，加
time.sleep(1) 是底线；更稳妥的是用 random.uniform(1, 3)
- 文件名含中文或特殊字符会导致保存失败，用
urllib.parse.quote(url, safe='')[-60:] 截取并编码
- 图片响应可能没带
Content-Length，用 response.iter_content(chunk_size=8192) 流式写入更省内存
- 下载后用
PIL.Image.open() 尝试打开，捕获 IOError 可筛掉损坏文件（但别在批量中开启，太慢）
time.sleep(1) 是底线；更稳妥的是用 random.uniform(1, 3)
urllib.parse.quote(url, safe='')[-60:] 截取并编码Content-Length，用 response.iter_content(chunk_size=8192) 流式写入更省内存PIL.Image.open() 尝试打开，捕获 IOError 可筛掉损坏文件（但别在批量中开启，太慢）真正难的不是找到图，而是判断哪张才是“用户想要的高清图”——同一页面可能有缩略图、中图、大图、WebP原图、带水印图共存。靠规则匹配永远有漏，必要时得结合尺寸解析（如只取宽 > 1200 的URL）或人工标注样本做简单分类。
立即学习“Python免费学习笔记（深入）”；
