使用Selenium从Google地图高效提取商家评分和评论数-Python教程-PHP中文网

使用Selenium从Google地图高效提取商家评分和评论数

本教程详细指导如何使用Python和Selenium从Google地图页面提取商家（如花园）的评分和评论数量。文章聚焦于解决动态网页元素定位的常见问题，特别是如何通过相对XPath和稳健的定位策略，准确获取每个搜索结果的独立评分数据，并提供了完整的示例代码和关键注意事项，帮助初学者有效进行网页数据抓取。

引言

在网页数据抓取领域，selenium作为一款强大的自动化测试工具，因其能够模拟用户行为、处理javascript渲染的动态内容而备受青睐。google地图这类高度交互式的web应用，其内容通常是动态加载的，传统的静态html解析方法难以奏效。本教程将深入探讨如何利用selenium从google地图中准确提取商家（如特定城市的景点）的评分和评论数量，并重点解决在处理动态列表时常见的元素定位挑战。

初始问题分析：XPath定位的误区

在尝试从Google地图搜索结果列表中提取每个商家的评分时，初学者常犯的一个错误是使用绝对XPath。例如，"/html/body/div[3]/div[8]/div[9]/div/div/div[1]/div[2]/div/div[1]/div/div/div[2]/div[1]" 这样的路径虽然在DOM结构固定时可能有效，但其存在严重局限性：

脆弱性： 任何微小的页面结构调整（如添加或删除一个div）都可能导致绝对XPath失效。
上下文问题： 当我们遍历一个包含多个搜索结果的列表时，每个result变量代表列表中的一个独立元素（例如，一个标签）。如果使用一个从文档根目录开始的绝对XPath来定位评分，它将始终指向页面上的第一个或特定位置的评分，而不是当前result元素对应的评分。评分元素通常位于result元素所在的卡片容器内，是result元素的兄弟或表兄弟元素，而不是其直接子孙，因此直接在其上应用绝对路径是无效的。

正确的做法是，从当前循环中的result元素出发，使用相对XPath来定位其关联的评分信息。

解决方案：利用相对XPath与上下文定位

解决上述问题的关键在于理解元素之间的相对关系，并利用相对XPath进行定位。

向上导航到父容器： 我们知道result变量通常代表的是列表中的一个链接元素（例如，）。而评分信息往往位于这个链接的父级容器中，或者与这个链接同级的某个兄弟容器中。为了能够访问到评分，我们需要首先从result元素向上导航到其共同的父容器。在XPath中，..操作符用于选择当前节点的父节点。
向下定位评分元素： 一旦我们到达了正确的父容器，就可以在该容器的上下文中向下查找评分元素。通过观察Google地图的HTML结构，可以发现评分通常包含在一个具有特定类名的元素中，例如MW4etd。这是一个相对稳定的类名，适合作为定位器。
组合XPath： 将上述两步结合起来，我们可以构建一个稳健的相对XPath：..//*[@class='MW4etd']。
- ..：从当前的result元素（即标签）向上导航到其父元素。
- //：表示从当前位置的任意后代中查找。
- *：匹配任何元素。
- [@class='MW4etd']：筛选出class属性值为MW4etd的元素。
处理多个匹配和空结果： 使用find_elements而不是find_element，因为它会返回一个列表。即使只有一个匹配项，它也会返回一个包含该项的列表。更重要的是，如果某个商家没有评分，find_elements会返回一个空列表，这允许我们通过检查列表的长度来优雅地处理这种情况，避免因尝试访问不存在的元素而引发错误。

完整代码示例

下面是结合了上述改进的完整Python代码，用于从Google地图提取指定数量的商家名称和评分：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver import ActionChains
from selenium.webdriver.support.ui import WebDriverWait
import time

# 配置Chrome选项，保持浏览器开启
chrome_options = Options()
chrome_options.add_experimental_option("detach", True)

driver = webdriver.Chrome(options=chrome_options)
actionChains = ActionChains(driver)
wait = WebDriverWait(driver, 20) # 设置显式等待时间

# 辅助函数：等待元素位置稳定，用于处理滚动时的元素抖动
def wait_for_element_location_to_be_stable(element):
    initial_location = element.location
    previous_location = initial_location
    start_time = time.time()
    while time.time() - start_time < 1: # 持续1秒内位置不变则认为稳定
        current_location = element.location
        if current_location != previous_location:
            previous_location = current_location
            start_time = time.time() # 位置变化，重置计时器
        time.sleep(0.4) # 短暂暂停，避免CPU占用过高

# 1. 导航到Google主页并接受Cookie（如果弹出）
driver.get("https://www.google.com/")
try:
    # 尝试点击Google的Cookie同意按钮
    wait.until(EC.element_to_be_clickable((By.ID, "L2AGLb"))).click()
except:
    print("未找到或无需点击Cookie同意按钮。")

# 2. 导航到Google地图
driver.get("https://www.google.com/maps")

# 等待页面加载并显示搜索框
time.sleep(3) # 简单等待，可替换为显式等待

# 3. 输入搜索查询并回车
search_box = wait.until(EC.presence_of_element_located((By.ID, "searchboxinput")))
search_box.send_keys("jardins in toulouse")
search_box.send_keys(Keys.RETURN)

# 等待搜索结果加载
time.sleep(5) # 简单等待，可替换为显式等待

# 4. 滚动加载更多结果
# 获取初始结果列表
results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))

break_condition = False
# 找到一个可以作为滚动焦点的元素，例如搜索框或地图左侧的空白区域
# 'zero-input' ID通常指向搜索框，作为滚动后焦点元素，确保滚动条可见
focus_element = driver.find_element(By.ID, 'searchboxinput') # 调整焦点元素为搜索框

while not break_condition:
    initial_last_element = results[-1] # 记录当前列表的最后一个元素

    # 滚动到最后一个元素
    actionChains.scroll_to_element(initial_last_element).perform()

    # 滚动后将焦点移回可操作区域，并模拟向下键以确保内容加载
    actionChains.move_to_element(focus_element).click().perform()
    for _ in range(3): # 多次按向下键，确保滚动条到底部
        actionChains.send_keys(Keys.ARROW_DOWN).perform()
        time.sleep(0.5)

    # 等待最后一个元素的位置稳定，确保页面渲染完成
    wait_for_element_location_to_be_stable(initial_last_element)

    # 重新获取所有结果，检查是否有新元素加载
    results = wait.until(EC.presence_of_all_elements_located((By.XPATH, "//a[@class='hfpxzc']")))

    # 如果最后一个元素没有变化，说明已经滚动到底部，没有更多新结果
    if results[-1] == initial_last_element:
        break_condition = True
    else:
        print(f"已加载 {len(results)} 个结果，继续滚动...")

print(f"共找到 {len(results)} 个结果。")

# 5. 遍历结果并提取名称和评分
# 限制在提取前100个结果（如果存在）
for i, result in enumerate(results[:100], start=1):
    name = result.get_attribute('aria-label')

    # **核心修改**：使用相对XPath定位评分元素
    # 从当前result元素向上导航到父级，然后查找class为'MW4etd'的元素
    ratings = result.find_elements(By.XPATH, "..//*[@class='MW4etd']")

    # 检查是否找到了评分元素，并提取文本
    rating = ratings[0].text if len(ratings) > 0 else "评分不可用"

    print(f"结果 {i}: {name} - 评分: {rating}")

# 6. 关闭浏览器
driver.quit()

登录后复制

注意事项与最佳实践

定位器选择：
- 优先级： 优先使用ID、Name、CSS选择器，因为它们通常更稳定、性能更好。
- 相对XPath： 当ID或CSS选择器不适用时，使用相对XPath（如//div[@class='some_class']/span）优于绝对XPath，因为它对DOM结构变化的容忍度更高。
- 动态属性： 避免使用包含动态生成部分（如id="element-12345"）的属性作为定位器。
等待策略：
- 显式等待（Explicit Waits）： 使用WebDriverWait结合expected_conditions是处理动态内容的首选方式。例如，EC.presence_of_element_located()（元素存在于DOM中）和EC.element_to_be_clickable()（元素可见且可点击）。这比固定的time.sleep()更高效、更可靠。
- 隐式等待（Implicit Waits）： driver.implicitly_wait(10)设置一个全局的等待时间，当元素未立即找到时，WebDriver会在此时间内不断尝试查找。
滚动加载：
- 对于无限滚动页面，模拟用户滚动行为至关重要。本例通过滚动到列表末尾元素并模拟按键来触发内容加载。
- 判断滚动结束的条件是关键：当连续几次滚动后，列表的最后一个元素不再变化时，通常意味着已经加载了所有可用的内容。
错误处理与健壮性：
- 使用find_elements()而非find_element()，并检查返回列表的长度，以避免在元素不存在时抛出NoSuchElementException。
- 使用try-except块来捕获可能发生的异常，如网络问题或元素突然消失。
数据清洗：
- 从网页提取的文本可能包含多余的空格、换行符等。在打印或存储数据之前，可能需要进行额外的字符串处理（如strip()、replace()）。
反爬机制与道德规范：
- 降低频率： 频繁的请求可能触发网站的反爬机制（如验证码、IP封锁）。考虑在请求之间添加随机的time.sleep()。
- User-Agent： 设置合理的User-Agent头，模拟真实浏览器行为。
- 代理IP： 如果IP被封锁，可能需要使用代理IP池。
- 遵守规则： 始终遵守网站的服务条款和robots.txt文件，负责任地进行数据抓取。