本文详解如何用 Selenium 高效获取页面内全部 <h2> 标签（尤其是嵌套 <a> 的结构）的文本内容和 href 属性，避免仅取首个元素的常见误区，提供可直接运行的健壮代码及关键注意事项。

本文详解如何用 selenium 高效获取页面内全部 `

` 标签（尤其是嵌套 `` 的结构）的文本内容和 `href` 属性，避免仅取首个元素的常见误区，提供可直接运行的健壮代码及关键注意事项。

在网页结构化数据抓取任务中，常需批量提取具有语义层级的标题信息——例如巴西总统档案馆（biblioteca.presidencia.gov.br）中每个演讲条目均以 <h2 class="tileHeadline"> 包裹一个 <a> 标签，其内含演讲标题（.text）和 PDF 下载链接（href 属性）。此时，若沿用 find_element() 或 visibility_of_element_located() 等单元素定位方法，将仅返回首个匹配项，无法满足“一页 20+ 条目”的实际需求。

✅ 正确做法：使用 find_elements() + 合理选择器

Selenium 并不内置类似 BeautifulSoup 的 .find_all() 方法，但其 find_elements()（注意是复数形式）完全等价于“批量查找”，是处理多元素的标准接口。关键在于：

Selenium 4.48.0

Selenium 4.48.0 官方发布页下载，适合 WebDriver 浏览器自动化测试、Selenium Grid 分布式测试和多语言自动化脚本环境升级。

下载

• 必须使用 find_elements()（返回 list[WebElement]），而非 find_element()（仅返回第一个 WebElement）；
• 选择器需精准匹配目标结构：该网站中 H2 内容实际位于 <h2 class="tileHeadline"><a href="https://www.php.cn/link/263b1243ca2dbeb358777ceabc4a2e4c">标题文本</a></h2>，因此直接定位 h2 a（CSS 选择器）比定位 h2 更高效、更安全——既确保元素可见可交互，又天然绑定文本与链接。

以下为生产环境推荐代码（适配 Selenium 4.15+，含显式等待与异常防护）：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options

# 配置无头模式与反检测选项（提升稳定性）
options = Options()
options.add_argument("--headless")
options.add_argument("--disable-blink-features=AutomationControlled")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)

driver = webdriver.Chrome(options=options)
wait = WebDriverWait(driver, 15)  # 延长等待时间，适应慢速政府网站

try:
    url = "http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/jose-sarney/discursos/1985?b_start:int=0"
    driver.get(url)

    # 显式等待：确保至少一个 .tileHeadline 出现在 DOM 中（作为页面加载完成信号）
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".tileHeadline")))

    # ✅ 批量定位所有 h2 内的 a 标签（即每个演讲条目的链接节点）
    speech_links = driver.find_elements(By.CSS_SELECTOR, "h2.tileHeadline a")

    # 提取并结构化数据
    results = []
    for idx, elem in enumerate(speech_links, 1):
        href = elem.get_attribute("href")
        title = elem.text.strip()
        if href and title:  # 过滤空值，增强鲁棒性
            results.append({"index": idx, "title": title, "url": href})

    # 输出示例（可替换为存入 CSV/JSON）
    for item in results[:5]:  # 仅打印前5条作验证
        print(f"[{item['index']}] {item['title']}")
        print(f" → URL: {item['url']}\n")

    print(f"✅ 共提取 {len(results)} 条演讲记录")

finally:
    driver.quit()  # 必须显式关闭，防止残留进程

⚠️ 关键注意事项

• 勿混淆 element 与 elements：find_element() 永远只返回一个对象，用于 for 循环会报 TypeError；只有 find_elements() 返回列表，方可遍历。
• CSS 选择器优先于 XPath（本场景）：h2.tileHeadline a 比 //h2[@class='tileHeadline']/a 更简洁、性能更好，且避免 XPath 中引号嵌套的转义问题。
• 显式等待应基于 presence_of_element_located 而非 visibility_of_element_located：后者要求元素不仅存在还需可见（可能因滚动位置失败），而前者仅检查 DOM 加载，更适合列表型数据初始化。
• 始终校验属性值：get_attribute("href") 在 <a> 无 href 时返回 None，需判空；text 可能含首尾空白，建议 .strip()。
• 政府网站常限速或反爬：添加 --headless、禁用自动化标识、合理设置 WebDriverWait 超时（如 15 秒），可显著降低被拦截风险。

通过上述方法，您即可稳定、批量地将非结构化网页标题列表转化为结构化数据字典，为后续存储、分析或批量下载 PDF 提供坚实基础。