使用Selenium从Google地图提取商家评分和评论数

本文详细介绍了如何使用Selenium库从Google地图搜索结果中高效地提取商家评分和评论数量。教程涵盖了Selenium环境配置、动态页面滚动加载更多结果的策略、以及关键的元素定位技巧，特别是针对Google地图动态内容中评分和评论的准确XPath定位。通过示例代码和最佳实践，帮助读者掌握从复杂Web应用中抓取数据的专业方法。

1. 环境准备与Selenium基础配置

在开始之前，请确保您的python环境中已安装selenium库，并下载了与您的chrome浏览器版本兼容的chromedriver。

首先，导入必要的Selenium模块，并进行基本的WebDriver配置。Options().add_experimental_option("detach", True) 选项可以使浏览器在脚本执行完毕后不立即关闭，方便调试。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
import time

# 配置Chrome选项，使其在脚本结束后保持打开
chrome_options = Options()
chrome_options.add_experimental_option("detach", True)

# 初始化WebDriver、ActionChains和WebDriverWait
driver = webdriver.Chrome(options=chrome_options)
actionChains = ActionChains(driver)
wait = WebDriverWait(driver, 20)

# 定义一个辅助函数，用于等待元素位置稳定
def wait_for_element_location_to_be_stable(element):
    """
    等待一个元素的位置在一段时间内保持不变，以确保页面加载稳定。
    这对于动态加载的元素特别有用。
    """
    initial_location = element.location
    previous_location = initial_location
    start_time = time.time()
    while time.time() - start_time < 1: # 等待1秒钟，期间位置未变化则认为稳定
        current_location = element.location
        if current_location != previous_location:
            previous_location = current_location
            start_time = time.time() # 位置变化，重置计时器
        time.sleep(0.4) # 短暂等待，避免CPU占用过高

# 导航到Google主页并接受Cookie（如果弹出）
driver.get("https://www.google.com/")
try:
    # 尝试点击Google的Cookie同意按钮
    cookie_accept_button = wait.until(EC.element_to_be_clickable((By.ID, "L2AGLb")))
    cookie_accept_button.click()
except:
    print("未找到或无需点击Cookie同意按钮。")

# 导航到Google地图
driver.get("https://www.google.com/maps")

# 等待页面加载并输入搜索查询
time.sleep(3) # 给予页面足够时间加载
search_box = wait.until(EC.presence_of_element_located((By.ID, "searchboxinput")))
search_box.send_keys("jardins in toulouse")
search_box.send_keys(Keys.RETURN)

# 等待搜索结果加载
time.sleep(5)

2. 动态加载结果的滚动机制

Google地图的搜索结果通常是动态加载的，这意味着初次加载时可能只显示一部分结果。为了获取更多结果，需要模拟用户向下滚动的行为。本教程采用了一种鲁棒的滚动策略，通过滚动到列表中的最后一个元素并发送“向下箭头”键来触发新内容的加载，并判断滚动是否停止（即没有新内容加载出来）。

# 获取初始结果列表
# 这里的'hfpxzc'是Google地图中每个商家/地点的链接元素的通用类名
results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))

break_condition = False
# 找到一个可以聚焦的元素，通常是搜索框或者地图上的某个固定元素
# 这里使用'zero-input'作为示例，实际中可能需要根据页面结构调整
focus_element = driver.find_element(By.ID, 'zero-input')

while not break_condition:
    # 记录当前列表的最后一个元素
    temp_last_element = results[-1]

    # 滚动到最后一个元素，确保其在视图中
    actionChains.scroll_to_element(results[-1]).perform()

    # 将焦点移到某个元素并点击，然后发送向下箭头键，确保滚动事件被触发
    # 这一步是为了确保滚动条或页面本身响应键盘事件
    actionChains.move_to_element(focus_element).click().perform()
    for _ in range(3): # 多次发送向下箭头键，确保滚动足够
        actionChains.send_keys(Keys.ARROW_DOWN).perform()
        time.sleep(0.5) # 短暂暂停以允许页面响应

    # 等待最后一个元素的位置稳定，这有助于判断页面是否已停止加载
    wait_for_element_location_to_be_stable(temp_last_element)

    # 重新获取所有结果，检查是否有新元素加载
    results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))

    # 如果新的结果列表的最后一个元素与之前的最后一个元素相同，
    # 并且列表长度不再增加，则认为已滚动到底部
    if results[-1] == temp_last_element and len(results) > len(set(results)): # 简单的去重判断，确保不是重复元素
        break_condition = True
    elif len(results) >= 100: # 如果已经获取了足够数量的结果，也可以停止
        break_condition = True

注意： 上述滚动逻辑中的 len(results) > len(set(results)) 检查是为了更严谨地判断是否加载了新元素，因为 results[-1] == temp_last_element 可能在某些情况下误判。更可靠的方法是比较新旧列表的长度，或者检查新列表中是否包含旧列表的所有元素且有新增。此处简化为当最后一个元素相同时，假设已到底部，或达到目标数量。

3. 精准提取商家评分和评论数

这是解决原始问题的核心部分。原始代码使用了一个绝对XPath，这在迭代多个结果时是无效的。正确的做法是使用相对XPath，从当前迭代的商家元素（result）出发来定位其相关的评分和评论元素。

Google地图中，每个商家/地点的信息通常在一个“卡片容器”内。result 变量（即 //a[@class='hfpxzc']）是这个卡片容器内的链接元素。评分（例如“4.1”）通常在一个具有特定类名（如 MW4etd）的 span 元素中，而评论数量（例如“(123)”）则可能紧邻评分，或者在另一个具有特定属性的 span 元素中。

定位策略：

1. 从 result 元素向上移动到其父级（..），因为评分和评论通常不是 hfpxzc 链接的直接子元素。
2. 在父级或其子孙元素中，寻找具有特定类名或文本模式的元素。
   • 评分：通常是 //*[@class='MW4etd']。
   • 评论数：通常是包含括号数字的文本，例如 //span[contains(text(), '(') and contains(text(), ')')]。

# 循环遍历结果并提取名称、评分和评论数
# 限制在获取前100个结果（如果存在）
for i, result in enumerate(results[:100], start=1):
    name = result.get_attribute('aria-label')

    # 提取评分
    # 评分通常在当前商家链接元素的父级容器内，具有'MW4etd'类
    ratings_elements = result.find_elements(By.XPATH, "..//*[@class='MW4etd']")
    rating = ratings_elements[0].text if len(ratings_elements) > 0 else "评分不可用"

    # 提取评论数量
    # 评论数量通常是包含在括号内的数字，与评分元素相邻或在同一父级下
    # 这里使用一个更通用的XPath来查找包含括号的文本，以适应不同的HTML结构
    review_count_elements = result.find_elements(By.XPATH, "..//span[contains(text(), '(') and contains(text(), ')')]")
    review_count = review_count_elements[0].text if len(review_count_elements) > 0 else "评论数不可用"

    print(f"结果 {i}: 名称: {name} - 评分: {rating} - 评论数: {review_count}")

# 关闭浏览器
driver.quit()

4. 注意事项与最佳实践

• XPath的鲁棒性： 避免使用绝对XPath，因为它们对页面结构的变化非常敏感。优先使用相对XPath (. 或 .. 开头) 或 CSS 选择器，结合元素的类名、ID、文本内容或属性来定位。
• 等待策略： 动态网页内容需要强大的等待机制。WebDriverWait 结合 expected_conditions 比简单的 time.sleep() 更可靠，因为它会等待直到条件满足或超时。wait_for_element_location_to_be_stable 这样的自定义等待函数对于处理元素移动或重绘的情况非常有用。
• 错误处理： 使用 find_elements 而不是 find_element 来查找可能不存在的元素。find_elements 会返回一个列表，如果元素不存在则返回空列表，这允许你通过检查列表长度来避免 NoSuchElementException。
• 模拟真实用户行为： 模拟鼠标点击、键盘输入和滚动等操作，可以减少被网站识别为自动化脚本的风险。
• 效率与性能： 频繁的 time.sleep() 会降低脚本执行效率。在确保页面加载完成的前提下，尽量减少不必要的等待时间。
• 反爬机制： Google地图等大型网站有复杂的反爬机制。频繁或大量的请求可能导致IP被封禁或需要验证码。考虑使用代理IP、降低请求频率、模拟用户代理等策略。
• 道德与法律： 在进行任何形式的网络抓取之前，请务必阅读并遵守目标网站的服务条款和隐私政策。尊重网站的数据所有权，并确保您的抓取行为合法合规。

总结

本教程提供了一个使用Selenium从Google地图提取商家评分和评论数的完整解决方案。通过理解动态内容加载机制和掌握正确的元素定位策略，您可以有效地从复杂的Web应用中提取所需数据。记住，Web抓取是一个不断适应和学习的过程，随着网站结构的变化，您的抓取脚本也可能需要随之更新。

以上就是使用Selenium从Google地图提取商家评分和评论数的详细内容，更多请关注php中文网其它相关文章！