本文介绍如何利用 selenium 4.8 在动态网页中定位并批量提取符合结构特征的 `` 标签 `href` 属性，生成可迭代的 url 列表，适用于多级嵌套、类名含空格或动态加载的场景。

在使用 Selenium 进行网页链接提取时，关键在于精准定位元素与可靠等待机制。针对您提供的 HTML 结构（

包裹含 class="programme titles" 的

，其内嵌 ），直接使用 find_elements 配合 XPath 是高效方案。但需注意：类名中含空格（如 "programme titles"）不能用 . 连接 CSS 选择器，必须改用 XPath 的 @class 属性匹配或 contains() 函数。

以下为完整、健壮的实现代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options

# 可选：无头模式（适合服务器环境）
chrome_options = Options()
chrome_options.add_argument("--headless")

driver = webdriver.Chrome(options=chrome_options)
wait = WebDriverWait(driver, 25)  # 最长等待25秒

try:
    driver.get("https://your-target-website.com")  # 替换为目标URL

    # ✅ 推荐XPath：精确匹配多级结构 + 处理含空格的class
    links = wait.until(
        EC.presence_of_all_elements_located(
            (By.XPATH, '//li//h4[@class="programme titles"]/a[@class="br-blocklink__link"]')
        )
    )

    # 提取所有 href 属性，自动过滤 None 值
    href_list = [elem.get_attribute("href") for elem in links if elem.get_attribute("href")]

    print(f"成功提取 {len(href_list)} 个链接：")
    for i, url in enumerate(href_list, 1):
        print(f"{i}. {url}")

    # 后续可遍历处理每个链接，例如：
    # for url in href_list:
    #     driver.get(url)
    #     # ... 解析详情页

except Exception as e:
    print(f"执行出错：{e}")
finally:
    driver.quit()

⚠️ 重要注意事项：

DeepBI DHTML 页面生成器

生成可在 deepbi 沙箱 iframe 内运行或作为独立文件运行的交互式 HTML 页面，使用 `window.deepbi` JS SDK 实现数据查询、空间管理、文件浏览及用户操作。当用户提出以下需求时启用该能力： - 创建 KPI 仪表盘、数据表格、文件浏览器、成员列表、管理页面； - 明确要求“转成 dhtml”、“转译成 HTML”、“把 XX 页面转成……”、“控制台页面”、“管理后台”、“DeepBI 页面迁移”； - 提及位于 `apps/console/src/featur

下载

• 类名含空格 → 必须用 XPath：CSS 选择器 .programme.titles 表示同时具有两个类，而 "programme titles" 是单个类名（含空格），此时应使用 //h4[@class="programme titles"] 或更鲁棒的 //h4[contains(@class,"programme") and contains(@class,"titles")]。
• 显式等待优于 time.sleep()：presence_of_all_elements_located 确保所有匹配元素已渲染完成，避免因加载延迟导致漏抓。
• 防御性编程：get_attribute("href") 可能返回 None（如链接未加载完成或被 JS 动态移除），建议增加 if elem.get_attribute("href") 过滤。
• 反爬提示：部分网站会检测 Selenium 特征，如需绕过，可添加 options.add_argument("--disable-blink-features=AutomationControlled") 并隐藏 navigator.webdriver（需额外 JS 注入）。

掌握此方法后，您不仅能稳定提取目标链接列表，还可轻松扩展至其他属性（如 text、data-*）或结合 BeautifulSoup 进行深度解析。核心逻辑始终是：结构化定位 → 显式等待 → 安全提取 → 异常防护。

立即学习“Python免费学习笔记（深入）”；