使用Selenium从Google地图提取评分与评论数：一个实践指南

本文旨在提供一个使用Selenium从Google地图动态加载页面中准确提取商家评分和评论数的教程。针对初学者在处理动态内容和构建稳定XPath定位器时常遇到的问题，文章详细阐述了如何通过相对XPath、父级元素定位以及条件判断来克服这些挑战，确保数据提取的准确性和代码的健壮性。

1. 环境准备与基础配置

在使用selenium进行网页抓取前，需要确保安装了必要的库和浏览器驱动。本教程以chrome浏览器为例。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
import time

# 配置Chrome选项，保持浏览器打开状态
chrome_options = Options()
chrome_options.add_experimental_option("detach", True)

# 初始化WebDriver
driver = webdriver.Chrome(options=chrome_options)
actionChains = ActionChains(driver)
wait = WebDriverWait(driver, 20) # 设置显式等待时间

2. 页面导航与动态加载处理

访问Google地图并执行搜索是抓取数据的第一步。由于Google地图的内容是动态加载的，特别是搜索结果列表，因此需要实现滚动机制来加载所有数据。

def wait_for_element_location_to_be_stable(element):
    """
    等待元素位置稳定，避免因页面滚动导致元素位置变化而出现定位问题。
    """
    initial_location = element.location
    previous_location = initial_location
    start_time = time.time()
    while time.time() - start_time < 1: # 在1秒内位置没有变化则认为稳定
        current_location = element.location
        if current_location != previous_location:
            previous_location = current_location
            start_time = time.time() # 位置变化，重置计时器
        time.sleep(0.4)

# 导航到Google主页并接受Cookies
driver.get("https://www.google.com/")
driver.find_element(By.ID, "L2AGLb").click() # 点击接受Cookies按钮

# 导航到Google地图
driver.get("https://www.google.com/maps")
time.sleep(3) # 等待页面加载

# 输入搜索查询并回车
search_box = driver.find_element(By.ID, "searchboxinput")
search_box.send_keys("jardins in toulouse")
search_box.send_keys(Keys.RETURN)
time.sleep(5) # 等待搜索结果加载

# 滚动加载所有结果
results = driver.find_elements(By.XPATH, "//a[@class='hfpxzc']") # 初始结果列表
focus_element = driver.find_element(By.ID, 'zero-input') # 用于滚动后重新聚焦的元素

break_condition = False
while not break_condition:
    temp = results[-1] # 记录当前列表的最后一个元素
    actionChains.scroll_to_element(results[-1]).perform() # 滚动到最后一个元素
    actionChains.move_to_element(focus_element).click().perform() # 聚焦到非滚动区域，确保滚动条可控
    # 模拟键盘向下滚动，确保新内容加载
    for _ in range(3):
        actionChains.send_keys(Keys.ARROW_DOWN).perform()
        time.sleep(0.5)
    wait_for_element_location_to_be_stable(temp) # 等待页面稳定

    # 重新获取所有结果，检查是否加载了新内容
    results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))
    if results[-1] == temp: # 如果最后一个元素没有变化，说明已到达底部
        break_condition = True

3. 准确提取评分和评论数

在获取到所有商家列表元素后，关键在于如何从每个商家卡片中准确提取评分和评论数。原始尝试中使用绝对XPath (/html/body/div[3]/...) 是不可取的，因为这种路径极易因页面结构变化而失效，且不能在循环中针对每个独立的商家卡片使用。

问题分析： 每个商家结果（results 列表中的 result 元素，其XPath为//a[@class='hfpxzc']）代表一个独立的商家卡片。评分和评论数通常位于该卡片的某个子元素或同级元素的子元素中。直接使用绝对XPath会定位到页面上第一个匹配的元素，而不是当前迭代的商家卡片内的元素。

解决方案：相对XPath与上下文定位

正确的做法是使用相对于当前商家卡片元素的相对XPath来定位评分信息。

1. 确定评分元素的位置： 观察Google地图的DOM结构，可以发现评分（例如“4.1”）通常位于商家名称的父级元素中，或者与商家名称元素相邻的某个容器内。在给定的案例中，评分元素具有一个独特的类名 MW4etd。

2. 构建相对XPath：

   • result 变量代表一个 元素，它是一个商家卡片的链接。
   • 评分信息通常不在 元素内部，而是在其父级容器中。因此，我们需要先向上移动到父级元素，即使用 ..。
   • 从父级元素向下查找带有特定类名 MW4etd 的元素。
   • 最终的相对XPath为 ..//*[@class='MW4etd']。这里的 * 表示任何元素，@class='MW4etd' 匹配具有该类名的元素。

3. 处理可能缺失的评分： 有些商家可能没有评分。使用 find_elements 会返回一个列表，如果找不到元素，则返回空列表。通过检查列表长度可以判断是否存在评分，从而避免索引错误。

# 遍历结果并提取名称、评分和评论数
for i, result in enumerate(results[:100], start=1): # 限制提取前100个结果
    name = result.get_attribute('aria-label') # 获取商家名称

    # 使用相对XPath定位评分元素
    # `..` 表示当前元素的父级
    # `//*[@class='MW4etd']` 表示在父级下查找所有class为'MW4etd'的元素
    ratings = result.find_elements(By.XPATH, "..//*[@class='MW4etd']")

    # 检查是否找到了评分元素
    if len(ratings) > 0:
        rating_text = ratings[0].text
        # 评分文本通常包含评分值和评论数，例如 "4.1 (123)"
        # 可以进一步解析以分离评分和评论数
        if '(' in rating_text and ')' in rating_text:
            parts = rating_text.split('(')
            rating_value = parts[0].strip()
            review_count = parts[1].replace(')', '').strip()
        else:
            rating_value = rating_text.strip()
            review_count = "N/A" # 或其他默认值
    else:
        rating_value = "评分不可用"
        review_count = "评论数不可用"

    print(f"结果 {i}: {name} - 评分: {rating_value} - 评论数: {review_count}")

# 关闭浏览器
driver.quit()

4. 注意事项与总结

• XPath的健壮性： 优先使用相对XPath和具有唯一性的属性（如id、class、name、data-*属性）进行定位，避免使用绝对XPath。
• 显式等待（WebDriverWait）： 在页面加载或元素出现时，使用 WebDriverWait 结合 expected_conditions 比 time.sleep() 更可靠，因为它会等待直到条件满足或超时。
• 动态内容处理： 对于滚动加载的页面，需要实现有效的滚动机制，并结合循环和条件判断来确定何时停止滚动。
• 错误处理： 使用 find_elements 而不是 find_element 可以避免在元素不存在时抛出 NoSuchElementException，而是返回空列表，便于进行条件判断。
• 数据解析： 提取到的文本可能需要进一步的字符串处理（如 split()、replace()、strip()）来获取所需的数据片段。
• 道德与法律： 在进行网页抓取时，请务必遵守网站的服务条款和robots.txt协议，并注意抓取频率，避免对网站服务器造成过大负担。

通过本教程，您应该能够掌握使用Selenium从Google地图等动态网站中准确、健壮地提取所需数据的方法。关键在于理解页面结构、灵活运用定位策略以及处理动态加载内容的技巧。

以上就是使用Selenium从Google地图提取评分与评论数：一个实践指南的详细内容，更多请关注php中文网其它相关文章！