本文详解 selenium 在网页爬虫中无法定位可见元素的典型问题，涵盖 xpath 语法更新、元素类名校验、显式等待替代强制休眠等关键修复策略，并提供可直接运行的现代 selenium 4+ 实战代码。
在使用 Selenium 进行网页自动化或数据采集时，一个高频痛点是：元素明明在浏览器中肉眼可见，但 find_element 却始终返回空列表或抛出 NoSuchElementException。你提供的案例正是典型代表——find_elements_by_xpath()（已弃用）未能匹配到 .entryNorm 容器，且子元素定位路径 .//a[@class="entryNorm9"] 实际并不存在（页面中对应结构实为 <div class="entryNorm9">），导致脚本中断。
✅ 根本原因分析
- 过时的 API 调用：find_element_by_xpath() 等 find_element_by_* 方法自 Selenium 4.0 起已被完全移除，必须改用 driver.find_element(By.XPATH, "...")；
- HTML 结构误判：通过浏览器开发者工具（F12）检查目标页面可确认：标题、描述和链接分别位于 <div class="entryNorm9">、<div class="entryNorm9">（同级重复类名，需结合上下文）及 <div class="lnkurl"> 内，而非 <a> 标签；
- 同步时机不当：time.sleep(5) 属于“盲目等待”，无法保证 DOM 渲染完成；更可靠的方式是使用 WebDriverWait + expected_conditions；
- 缺少异常处理与容错：原代码中 try 块未配 except，语法错误；实际生产环境中应捕获 NoSuchElementException 并记录/跳过异常项。
✅ 推荐修复后的完整代码（Selenium 4.15+）
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from webdriver_manager.chrome import ChromeDriverManager
import time
# 配置 Chrome 选项（可选无头模式）
options = Options()
# options.add_argument("--headless") # 启用后不显示浏览器窗口
driver = webdriver.Chrome(
service=Service(ChromeDriverManager().install()),
options=options
)
wait = WebDriverWait(driver, 10) # 最长等待10秒
try:
for page in range(1, 5):
url = f"https://www.jasminedirectory.com/business-marketing/page,{page}.html"
driver.get(url)
print(f"正在处理: {url}")
# 显式等待主容器加载完成（比 time.sleep() 更精准可靠）
wait.until(EC.presence_of_element_located((By.XPATH, '//div[@class="entryNorm"]')))
# 定位所有条目容器
articles = driver.find_elements(By.XPATH, '//div[@class="entryNorm"]')
print(f"第 {page} 页共找到 {len(articles)} 个条目")
for i, article in enumerate(articles, 1):
try:
# 使用相对XPath精确定位子元素（注意：是 div，不是 a！）
title_elem = article.find_element(By.XPATH, './/div[@class="entryNorm9"]')
desc_elem = article.find_element(By.XPATH, './/div[@class="entryNorm9"][2]') # 第二个同名div
link_elem = article.find_element(By.XPATH, './/div[@class="lnkurl"]')
title = title_elem.text.strip()
description = desc_elem.text.strip()
link_text = link_elem.text.strip()
print(f" [{i}] 标题: {title[:50]}... | 链接文本: {link_text}")
except Exception as e:
print(f" ⚠️ 第 {i} 个条目解析失败: {type(e).__name__}")
continue
finally:
driver.quit() # 确保浏览器进程被释放? 关键改进说明
- ✅ 语法现代化：全面采用 By.XPATH + find_element(s) 新标准 API；
- ✅ 结构真实性验证：务必通过 DevTools 检查真实 HTML，避免凭经验写错标签或类名；
- ✅ 智能等待机制：WebDriverWait 会轮询 DOM 直至目标元素出现，避免因网络波动或渲染延迟导致的定位失败；
- ✅ 健壮性增强：每个子元素查找均包裹 try/except，单条数据异常不影响整体流程；
- ✅ 资源安全释放：driver.quit() 确保关闭浏览器实例，防止后台进程残留。
? 小贴士：若页面含 iframe 或动态加载内容（如滚动触底加载），还需额外切换上下文（driver.switch_to.frame()）或模拟滚动（driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")）后再等待。
掌握这些原则，你将大幅降低 Selenium “找不到元素”的挫败感，并构建出稳定、可维护的网页自动化脚本。
