本文旨在解决使用browsermob proxy与selenium进行网络请求头捕获时har文件为空的问题。我们将探讨传统代理方案的局限性，并详细介绍如何利用selenium 4内置的devtools api实现高效、稳定的网络流量（包括请求url、方法、头部信息）拦截与分析，提供完整的java示例代码和最佳实践，助力开发者进行前端调试和自动化测试。
1. 引言：网络请求拦截的重要性及传统方案的挑战
在Web自动化测试、性能分析和前端调试中，捕获和分析浏览器发出的网络请求（包括请求头、响应头、请求体、响应体等）是至关重要的一环。传统上，开发者常借助第三方代理工具如Browsermob Proxy (BMP) 来实现这一目标。Browsermob Proxy作为一个基于HAR格式的HTTP代理，能够拦截浏览器与服务器之间的所有流量，并将其记录为HAR（HTTP Archive）文件，方便后续分析。
然而，在使用Browsermob Proxy结合Selenium进行自动化测试时，用户可能会遇到HAR文件记录为空的困境，即使正确配置了代理并尝试了多种捕获类型，也无法获取预期的网络日志。这通常是由于代理配置的复杂性、SSL证书处理、浏览器兼容性或时序问题导致的。例如，在无头模式下运行Chrome并配置BMP代理时，可能会因为证书信任问题或代理流量未正确路由而导致捕获失败。
以下是一个典型的Browsermob Proxy与Selenium结合的代码示例，它展示了尝试捕获HAR的常见模式，但可能面临HAR为空的问题：
import io.github.bonigarcia.wdm.WebDriverManager;
import net.lightbody.bmp.BrowserMobProxy;
import net.lightbody.bmp.BrowserMobProxyServer;
import net.lightbody.bmp.client.ClientUtil;
import net.lightbody.bmp.core.har.Har;
import net.lightbody.bmp.proxy.CaptureType;
import org.openqa.selenium.Proxy;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.remote.CapabilityType;
import org.openqa.selenium.remote.DesiredCapabilities;
import java.io.File;
import java.util.concurrent.TimeUnit;
public class BrowsermobProxyExample {
public static void main(String[] args) throws Exception {
WebDriver driver = null;
BrowserMobProxy proxy = new BrowserMobProxyServer();
proxy.setTrustAllServers(true); // 信任所有SSL证书
proxy.start(0); // 启动代理，端口随机
// 创建Selenium Proxy对象并关联Browsermob Proxy
Proxy seleniumProxy = ClientUtil.createSeleniumProxy(proxy);
String hostIp = "localhost";
seleniumProxy.setHttpProxy(hostIp + ":" + proxy.getPort());
seleniumProxy.setSslProxy(hostIp + ":" + proxy.getPort());
WebDriverManager.chromedriver().setup();
ChromeOptions options = new ChromeOptions();
options.addArguments("--headless"); // 无头模式
options.addArguments("--ignore-certificate-errors"); // 忽略证书错误
DesiredCapabilities capabilities = new DesiredCapabilities();
capabilities.setCapability(CapabilityType.PROXY, seleniumProxy);
capabilities.setCapability(CapabilityType.ACCEPT_INSECURE_CERTS, true);
options.merge(capabilities);
try {
driver = new ChromeDriver(options);
// 启用HAR捕获类型
proxy.enableHarCaptureTypes(CaptureType.REQUEST_HEADERS, CaptureType.RESPONSE_HEADERS,
CaptureType.REQUEST_CONTENT, CaptureType.RESPONSE_CONTENT);
proxy.newHar("example.com"); // 创建新的HAR文件
driver.get("https://www.example.com"); // 访问目标网站
TimeUnit.SECONDS.sleep(10); // 等待页面加载及网络请求完成
Har har = proxy.getHar(); // 获取HAR日志
har.writeTo(new File("test.har")); // 写入文件
System.out.println("HAR entries captured: " + har.getLog().getEntries().size());
} finally {
if (driver != null) {
driver.quit();
}
if (proxy != null) {
proxy.endHar();
proxy.stop();
}
}
}
}尽管上述代码逻辑看似完整，但在实际运行中，特别是在某些复杂的网络环境下或特定Selenium/BrowserMob Proxy版本组合下，test.har文件中的entries列表可能依然为空。这促使我们寻找更稳定、更集成的解决方案。
2. 现代解决方案：Selenium 4 DevTools API
随着Selenium 4的发布，其引入了与浏览器DevTools（开发者工具）API的直接集成，为网络请求拦截提供了一个更为强大和稳定的原生方法。通过DevTools API，我们可以直接与浏览器内部通信，监听并获取网络事件，而无需依赖外部代理。这种方法避免了代理配置、SSL证书信任等复杂问题，使得网络流量捕获更加可靠。
2.1 核心概念
- DevTools: 浏览器内置的开发者工具，提供丰富的调试和诊断功能。
- CDP (Chrome DevTools Protocol): Chrome浏览器提供的一套协议，允许外部工具（如Selenium）与浏览器进行交互和控制。
- Network Domain: CDP中的一个域，专门用于处理网络相关的事件和命令，例如启用网络监控、监听请求发送、响应接收等。
2.2 使用Selenium 4 DevTools API进行网络拦截
以下是使用Selenium 4 DevTools API拦截网络请求头的详细步骤和示例代码：
2.2.1 准备工作
alfred-github-backup
下载
GitHub 仓库备份技能 - 将 OpenClaw 工作空间自动或手动备份至 GitHub 私有仓库。支持自动定时备份和手动交互式配置，引导完成 Token 配置、仓库创建、首次备份及定时任务设置。用途：(1) 首次设置 (2) 日常备份。
确保您的项目中引入了Selenium 4.6.0或更高版本的依赖。
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>4.7.0</version> <!-- 推荐使用最新稳定版本 -->
</dependency>2.2.2 示例代码
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.devtools.DevTools;
import org.openqa.selenium.devtools.v120.network.Network; // 根据Selenium版本调整vXXX
import org.openqa.selenium.devtools.v120.network.model.RequestWillBeSent; // 根据Selenium版本调整vXXX
import java.util.Optional;
import java.util.concurrent.TimeUnit;
public class DevToolsNetworkInterceptor {
public static void main(String[] args) throws InterruptedException {
// 1. 初始化ChromeDriver
// 确保ChromeDriver与您的Chrome浏览器版本兼容
// System.setProperty("webdriver.chrome.driver", "/path/to/chromedriver");
// 或者使用WebDriverManager自动管理驱动
// WebDriverManager.chromedriver().setup();
ChromeOptions options = new ChromeOptions();
// options.addArguments("--headless"); // 如果需要无头模式，可以添加此参数
ChromeDriver driver = new ChromeDriver(options);
// 2. 获取DevTools实例并创建会话
DevTools devTools = driver.getDevTools();
devTools.createSession();
// 3. 启用Network域
// Optional.empty() 表示不设置额外的参数，如最大请求体大小、最大响应体大小等
devTools.send(Network.enable(Optional.empty(), Optional.empty(), Optional.empty()));
// 4. 添加监听器，捕获请求发送事件
devTools.addListener(Network.requestWillBeSent(), request -> {
System.out.println("--------------------------------------------------");
System.out.println("Request URL: " + request.getRequest().getUrl());
System.out.println("Request Method: " + request.getRequest().getMethod());
System.out.println("Request Headers: " + request.getRequest().getHeaders().toJson());
System.out.println("--------------------------------------------------");
});
// （可选）添加监听器，捕获响应接收事件
devTools.addListener(Network.responseReceived(), response -> {
System.out.println("Response URL: " + response.getResponse().getUrl());
System.out.println("Response Status: " + response.getResponse().getStatus());
System.out.println("Response Headers: " + response.getResponse().getHeaders().toJson());
});
// 5. 导航到目标URL
driver.get("https://www.google.com");
// 6. 等待一段时间，确保网络请求有足够时间被捕获和处理
// 在实际应用中，应使用WebDriverWait等显式等待机制，而不是Thread.sleep
TimeUnit.SECONDS.sleep(10);
// 7. 关闭浏览器和DevTools会话
devTools.close();
driver.quit();
}
}代码解析：
- ChromeDriver driver = new ChromeDriver(options);: 初始化Chrome浏览器实例。ChromeOptions可以用于配置浏览器行为，如无头模式。
- DevTools devTools = driver.getDevTools();: 从ChromeDriver实例中获取DevTools对象。
- devTools.createSession();: 创建一个与浏览器DevTools的会话。这是与DevTools API交互的起点。
- devTools.send(Network.enable(...));: 向DevTools发送命令，启用Network域的事件监听。一旦启用，浏览器将开始发送网络事件。
-
devTools.addListener(Network.requestWillBeSent(), request -> {...});: 这是核心部分。它注册了一个监听器，当浏览器即将发送一个网络请求时，会触发requestWillBeSent事件。监听器中的Lambda表达式会接收到一个RequestWillBeSent对象，其中包含了请求的详细信息，如URL、方法、请求头等。
- request.getRequest().getUrl()：获取请求的URL。
- request.getRequest().getMethod()：获取请求的方法（GET, POST等）。
- request.getRequest().getHeaders().toJson()：获取请求头，以JSON格式表示。
- driver.get("https://www.google.com");: 导航到目标网页。此时，所有由该页面发起的网络请求都将被DevTools捕获。
- TimeUnit.SECONDS.sleep(10);: 这是一个简单的等待，用于确保页面加载完成并且所有网络请求都有机会被监听器捕获。在实际的自动化测试中，建议使用WebDriverWait结合特定的条件来等待，以提高测试的健壮性。
- devTools.close(); 和 driver.quit();: 关闭DevTools会话并退出浏览器，释放资源。
2.3 捕获更多网络事件
除了requestWillBeSent，Network域还提供了许多其他有用的事件和命令，例如：
- Network.responseReceived()：当浏览器接收到响应头时触发。
- Network.loadingFinished()：当一个网络请求的加载完成时触发。
- Network.setExtraHTTPHeaders()：可以设置额外的HTTP请求头。
- Network.clearBrowserCache()：清除浏览器缓存。
通过组合这些事件，您可以构建出更复杂的网络监控和控制逻辑。
3. 注意事项与最佳实践
- Selenium版本兼容性： 确保您的Selenium Java库版本与您使用的Chrome浏览器和ChromeDriver版本兼容。DevTools API在Selenium 4中引入，并且其内部协议（如v120）会随着Chrome浏览器版本的更新而变化，因此建议使用最新稳定版的Selenium。
- 驱动管理： 推荐使用WebDriverManager（如io.github.bonigarcia:webdrivermanager）来自动管理和下载ChromeDriver，以避免手动下载和路径配置的麻烦。
- 无头模式： 在无头模式下运行Chrome（options.addArguments("--headless")）时，DevTools API同样有效，这对于服务器端运行的自动化任务非常有用。
- 等待机制： 在实际应用中，避免使用Thread.sleep()进行硬编码等待。应使用Selenium提供的WebDriverWait结合ExpectedConditions来等待特定的元素出现、页面加载完成或网络请求结束，以确保数据的完整捕获和测试的稳定性。
- 数据存储： 捕获到的网络数据（如请求头、URL等）可以直接在监听器中进行处理，例如写入文件、存储到列表或数据库中。如果需要生成标准的HAR文件，则需要手动将捕获到的事件数据按照HAR规范进行组装。
- 性能影响： 启用DevTools网络监听会增加浏览器的开销，尤其是在捕获大量数据时。在不需要网络分析的测试场景中，应避免启用此功能。
4. 总结
Selenium 4提供的DevTools API为Java自动化测试带来了强大的网络请求拦截能力，有效解决了传统Browsermob Proxy方案中可能出现的HAR文件为空等问题。通过直接与浏览器DevTools协议交互，开发者可以更稳定、更细致地控制和监控网络流量，从而提升自动化测试的深度和效率。掌握这一技术，对于进行API测试、性能分析、安全审计以及复杂前端调试的工程师而言，无疑是一个重要的工具。
