用requests+BeautifulSoup找PDF链接：先requests.get()获取HTML，再用BeautifulSoup解析，通过soup.find_all('a', href=True)提取所有带href的a标签，用urljoin(base_url, href)转为绝对URL，再用href.lower().endswith('.pdf')或正则匹配过滤，同时跳过javascript:、#、mailto:等无效链接。
如何用 requests + BeautifulSoup 找到页面里的所有PDF链接
网页中PDF附件通常以 <a> 标签指向 .pdf 文件，也可能藏在 <iframe> 或 JavaScript 生成的 URL 里。最稳妥的方式是先抓取 HTML，再用 BeautifulSoup 提取所有 href 属性值，过滤出以 .pdf 结尾（注意大小写和查询参数干扰）。
常见坑：href="/files/report.pdf" 是相对路径，href="https://example.com/doc.pdf?ts=123" 带参数，href="javascript:download('id123')" 这类 JS 调用则需要额外处理——这种得放弃或换 Puppeteer。
- 用
urljoin(base_url, href)统一转成绝对 URL，别手动拼接 - 用
href.lower().endswith('.pdf')判断，避免漏掉.PDF或.Pdf - 用
urllib.parse.urlparse(href).query清洗参数（可选），但下载时保留原 URL 更稳妥 - 跳过空
href、#开头、mailto:等无效链接
怎么用 requests.get() 安全下载PDF并保存文件
PDF 是二进制内容，必须用 response.content（不是 .text），且要设 stream=True 防止大文件爆内存；同时注意响应头里的 Content-Disposition 可能带真实文件名，否则就用 URL 最后一段。
容易踩的坑：requests 默认不处理重定向后的文件名，也不校验 PDF 头部（比如返回的是 HTML 登录页，但扩展名仍是 .pdf）。
立即学习“Python免费学习笔记（深入）”；
图片提示词生成器？不止如此。 马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。 用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。 用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。 输入「新手指南」查看完整功能介绍
- 加
timeout=(3, 30)：连接 3 秒，读取 30 秒，避免卡死 - 检查
response.status_code == 200，跳过 403/404/500 - 用
response.headers.get('content-type', '')粗略判断是否含application/pdf，但不可靠，更稳妥是读前 4 字节是否为%PDF - 保存前确保目录存在：
os.makedirs(os.path.dirname(filepath), exist_ok=True)
遇到登录态、反爬或动态加载怎么办
如果目标网页需要 Cookie 登录、验证码，或 PDF 链接由 AJAX 加载（比如点击“下载”才发请求），requests+BeautifulSoup 就失效了。
这时得换方案：用 selenium 或 playwright 模拟浏览器行为，或分析 XHR 请求直接调接口。但代价是慢、重、难维护。
- 先试
requests.Session()+ 手动登录（抓登录表单、CSRF token、Cookie），适用于简单表单登录 - 若页面用
fetch()加载 PDF 列表，打开浏览器开发者工具 → Network → XHR，找那个返回 JSON 的请求，直接复现它 - 绝对避免无头浏览器自动点“下载”按钮——Chrome 默认不自动保存，还得配
download.default_directory和权限，极易出错 - 反爬强的站点（如高校教务系统），往往封 IP 或校验 User-Agent+Referer，需轮换或加延时
批量下载时怎么避免被封、丢文件、覆盖重名
高频请求会触发风控，而同名 PDF（比如多个 download.pdf）直接覆盖会导致丢失。真正的生产脚本必须带限速、重试、去重和命名策略。
很多人只写个 for 循环就跑，结果下到一半被封，或最后发现 37 个文件只剩 1 个。
- 每请求间加
time.sleep(1)，别用0.1—— 多数网站识别得出 - 对失败 URL 记录日志（含状态码、异常类型），后续单独重试，别直接跳过
- 文件名用哈希（如
hashlib.md5(url.encode()).hexdigest()[:8]）+ 原扩展名，彻底避免冲突 - 下载前用
os.path.exists(filepath)跳过已存在文件，但注意：URL 相同 ≠ 内容相同，需按需校验
PDF 提取本身不难，难的是应对现实网页的混乱：路径不规范、权限不透明、响应不可信、服务器不讲武德。动手前先 curl -I 看几个链接的响应头，比直接写代码更省时间。
