本文详解如何利用 pyqt5 的 qwebenginepage 稳健、异步地批量保存多个网页为 pdf，解决循环调用中因事件循环提前退出导致部分文件未生成的问题，并提供可扩展的面向对象实现方案。
本文详解如何利用 pyqt5 的 qwebenginepage 稳健、异步地批量保存多个网页为 pdf，解决循环调用中因事件循环提前退出导致部分文件未生成的问题，并提供可扩展的面向对象实现方案。
在 Python 中批量将网页转为 PDF 时，直接在循环中多次调用 QWebEngineView + printToPdf() 常会失败——根本原因在于：每个页面的加载与打印是异步操作，而原代码在首个页面打印完成时就调用 QApplication.exit()，导致后续尚未加载或正在打印的页面被强制中断。此外，QWebEngineView 并非必需（无 GUI 场景下反而增加开销），改用轻量级的 QWebEnginePage 更合理。
以下是一个生产就绪的解决方案：封装为 WebPdfPrinter 类，统一管理页面生命周期、加载状态与打印完成回调，确保所有任务按序执行且应用仅在全部完成时退出。
✅ 推荐实现：基于 QApplication 子类的批量 PDF 打印器
import sys
from pathlib import Path
from PyQt5 import QtWidgets, QtWebEngineWidgets
from PyQt5.QtCore import QUrl, QPageLayout, QPageSize
from PyQt5.QtWidgets import QApplication
class WebPdfPrinter(QApplication):
def __init__(self, url_path_pairs):
super().__init__(sys.argv)
# 全局页面布局配置（A4 纵向）
self.pageLayout = QPageLayout()
self.pageLayout.setPageSize(QPageSize(QPageSize.A4Extra))
self.pageLayout.setOrientation(QPageLayout.Portrait)
# {url: (QWebEnginePage, output_path)} 映射表，避免重复处理
self.printers = {}
for url, path in url_path_pairs:
if not Path(path).exists():
page = QtWebEngineWidgets.QWebEnginePage()
self.printers[url] = (page, path)
# 绑定加载完成信号（注意：lambda 捕获需显式传入 url，避免闭包陷阱）
page.loadFinished.connect(
lambda ok, u=url: self._on_load_finished(ok, u)
)
page.load(QUrl(url))
else:
print(f"Skip existing: {path}")
def _on_load_finished(self, ok, url):
if not ok:
print(f"❌ Failed to load: {url}")
self._on_print_finished(False, url)
return
page, path = self.printers[url]
try:
# 触发 PDF 导出
page.printToPdf(path, self.pageLayout)
# 绑定打印完成回调（成功/失败均触发）
page.pdfPrintingFinished.connect(
lambda p, success: self._on_print_finished(success, url)
)
except Exception as e:
print(f"⚠️ Error printing {url}: {e}")
self._on_print_finished(False, url)
def _on_print_finished(self, success, url):
if url not in self.printers:
return
page, path = self.printers.pop(url)
page.deleteLater() # 及时释放资源
if success:
print(f"✅ PDF saved: {path}")
else:
print(f"❌ PDF failed: {url}")
# 所有任务完成后退出应用
if not self.printers:
print("? All PDFs processed. Exiting...")
self.quit()? 使用示例（整合你的爬取逻辑）
import requests
from bs4 import BeautifulSoup
# 1. 获取目标 URL 列表（保持你原有的解析逻辑）
catalogue_url = "https://debis.deu.edu.tr/ders-katalog/2023-2024/tr/"
department_url = "bolum_1129_tr.html"
reqs = requests.get(catalogue_url + department_url)
soup = BeautifulSoup(reqs.content, 'html.parser')
urls = soup.find_all('a')
hrefs = [a.get('href') for a in urls]
try:
start_idx = hrefs.index("../havuz/1129tr.pdf")
end_idx = hrefs.index("bolum_1129_tr.html")
except ValueError:
raise RuntimeError("Required anchor links not found in HTML")
# 2. 构建 (URL, 本地路径) 元组列表
url_path_pairs = []
for i in range(start_idx + 1, end_idx):
course_url = catalogue_url + urls[i].get('href')
output_path = f"File({i}).pdf"
url_path_pairs.append((course_url, output_path))
# 3. 启动批量打印器（自动管理事件循环）
if url_path_pairs:
app = WebPdfPrinter(url_path_pairs)
sys.exit(app.exec())
else:
print("No URLs to process.")⚠️ 关键注意事项
- 必须使用 QWebEnginePage 而非 QWebEngineView：前者无 UI 开销，适合后台批量任务；后者依赖窗口系统，易引发资源竞争。
- 避免闭包陷阱：lambda ok, url=url: 中的 url=url 是关键，否则所有回调共享最后一个 url 值。
- 资源及时释放：每次打印完成后调用 page.deleteLater()，防止内存泄漏。
- 错误容错：loadFinished 和 pdfPrintingFinished 均需处理失败分支，避免程序静默崩溃。
- 环境依赖：确保已安装 PyQt5 和 Qt WebEngine（Windows/macOS/Linux 均需对应二进制支持）；若遇 QtWebEngineWidgets 导入失败，请升级 PyQt5 或安装 pyqtwebengine 包。
该方案彻底规避了“多页并发但单点退出”的缺陷，通过中心化状态管理实现可靠、可监控、可扩展的批量网页 PDF 导出，适用于教学资料归档、课程大纲存档等实际场景。
