
本文详解如何利用 selenium webdriver(python)精准定位并点击无 href 属性、依赖 aria 属性和动态渲染的楼层选择项,完成多楼层数据采集,并提取各单元房号、租金等信息。
本文详解如何利用 selenium webdriver(python)精准定位并点击无 href 属性、依赖 aria 属性和动态渲染的楼层选择项,完成多楼层数据采集,并提取各单元房号、租金等信息。
在实际网页爬取中,许多现代交互式地图或户型图(如 SightMap 嵌入式楼层导航)并不使用传统 <a href="..."> 链接,而是通过 <li> 或 <span> 等语义化元素配合 aria-label、CSS 类名及 JavaScript 事件驱动交互。这类元素虽不可见传统链接,但完全支持 Selenium 的 .click() 操作——关键在于精准定位可交互的触发节点,而非盲目点击父容器。
以下是一个完整、健壮的解决方案:
✅ 正确选择可点击目标
原始代码中尝试点击 <li> 元素失败,是因为该 <li> 实际未绑定点击事件,真正响应用户操作的是其内部的 <span class="...floorStyles">(显示楼层号)或 <span class="...numberStyles">(显示可用单元数)。观察 DOM 结构:
将调研报告、方案对比、数据分析、需求梳理、会议纪要、设计说明、代码评审、学习笔记等任务产物输出为可在浏览器直接打开的单文件 HTML,替代 Markdown 作为最终交付物。Markdown 在信息密度、视觉清晰度和可分享性上已跟不上 AI 产物的丰富度,HTML 能同时承载排版、表格、SVG 等。
<li id="floor-item-42349" ...>
<span class="primary-font css-1an6fko-floorStyles">21</span>
<span class="css-1cygnfi-countStyles">
<span class="css-1gmg8q9-numberStyles">2</span>
<span class="css-1c0jwqn-unitLabelStyles">Units</span>
</span>
</li>✅ 推荐策略:定位 numberStyles 元素(代表“有房可选”),因其文本非 "0" 即表明该楼层有效,且通常具备明确的交互绑定;同时避免点击空 <li> 导致 ElementClickInterceptedException。
立即学习“前端免费学习笔记(深入)”;
✅ 完整可运行代码(含显式等待与异常防护)
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException, NoSuchElementException
url = 'https://sightmap.com/embed/rx1p8y12vd6'
driver = webdriver.Chrome()
driver.maximize_window()
driver.get(url)
wait = WebDriverWait(driver, 15) # 延长等待时间以适应嵌入式 iframe 加载
try:
# 等待楼层选择器整体加载完成
floor_selector = wait.until(EC.presence_of_element_located((By.ID, "floor-vertical-select")))
# 定位所有「可用单元数」span(class 包含 'numberStyles')
unit_count_spans = wait.until(
EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "#floor-vertical-select span[class*='numberStyles']"))
)
for idx, count_span in enumerate(unit_count_spans):
try:
count_text = count_span.text.strip()
if count_text == "0":
continue
# 向上查找同级的 floor number span(更鲁棒:用父级 li 定位 floor 号)
floor_li = count_span.find_element(By.XPATH, "./ancestor::li")
floor_num = floor_li.find_element(By.CSS_SELECTOR, "span[class*='floorStyles']").text.strip()
print(f"→ Floor {floor_num}, Available units: {count_text}")
# 点击该楼层对应的「单元数」区域(实际触发切换)
count_span.click()
# 等待右侧单元列表出现并加载完毕
unit_items = wait.until(
EC.visibility_of_all_elements_located((By.CSS_SELECTOR, "ul[data-testid='unit-list'] > li"))
)
for unit in unit_items:
# 提取单元核心信息(示例:可能含 Apt #、Rent、Status 等)
unit_info = unit.text.strip()
if unit_info:
print(f" └─ {unit_info}")
print("-" * 40)
except (TimeoutException, NoSuchElementException, Exception) as e:
print(f"⚠️ 处理楼层时出错: {e}")
continue
finally:
driver.quit()⚠️ 关键注意事项
- iframe 陷阱:目标页面为嵌入式内容(sightmap.com/embed/...),若页面本身被包裹在 iframe 中,需先 switch_to.frame(...) —— 本例中直接访问 embed URL 可绕过此问题。
- 动态加载延迟:楼层切换后,右侧单元列表是异步渲染的,必须用 visibility_of_all_elements_located 而非 presence_of_element_located,确保元素已渲染且可见。
- 定位稳定性:避免硬编码 CSS 类名(如 css-1an6fko-floorStyles),因其可能随前端构建哈希变化。推荐使用 class*='floorStyles' 或 class*='numberStyles' 这类模糊匹配,兼顾可维护性与鲁棒性。
- 防反爬友好实践:添加 time.sleep(0.5) 在 click 后可降低被限频风险(非必需,但生产环境建议)。
掌握这种基于 ARIA 语义、CSS 动态类与 DOM 层级关系的定位逻辑,是你进阶 Selenium 自动化与动态网页数据采集的核心能力之一。


















