讲师中心 微信公众号
AI工具推荐 视频效率加速

Selenium 中使用 fetch 发起 HTTP 请求的完整实践指南

酷萱同学_2279

酷萱同学_2279

发布时间:2026-10-25 17:03:04

|

377人浏览过

|

来源于php中文网

原创

Selenium 中使用 fetch 发起 HTTP 请求的完整实践指南

本文详解如何在 Selenium 中通过 execute_async_script 正确调用浏览器原生 fetch,同步获取 JSON 响应、携带自定义请求头、复用登录态 Cookie,并解决代理不生效、异步回调阻塞等高频问题。

本文详解如何在 selenium 中通过 `execute_async_script` 正确调用浏览器原生 `fetch`,同步获取 json 响应、携带自定义请求头、复用登录态 cookie,并解决代理不生效、异步回调阻塞等高频问题。

在 Web 自动化测试与接口联调场景中,常需绕过 UI 操作,直接向服务端发起带身份凭证(如 Cookie、Token)的 POST/GET 请求。Selenium 本身不提供原生 post() 或 get() 方法——其设计定位是浏览器行为模拟器,而非 HTTP 客户端。但借助 execute_async_script 在页面上下文中执行 fetch,我们可无缝复用当前会话的 Cookie、TLS 状态与代理配置,实现“所见即所发”的精准请求控制。

✅ 正确用法:execute_async_script + fetch 同步收口

execute_script 无法等待 Promise,而 fetch 返回 Promise,因此必须使用 execute_async_script,并显式传入回调函数(arguments[0])接收响应:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument("--proxy-server=127.0.0.1:8888")
chrome_options.add_argument("--ignore-certificate-errors")
# 关键:启用 DevTools Protocol 支持代理生效(尤其对 fetch)
chrome_options.add_experimental_option("useAutomationExtension", False)
chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])

driver = webdriver.Chrome(options=chrome_options)
driver.get("https://myhttpheader.com/")

# ✅ 正确:fetch + execute_async_script + 回调收口
response_text = driver.execute_async_script("""
  const callback = arguments[0];
  const url = 'https://myhttpheader.com/';
  const options = {
    method: 'GET',
    headers: {
      'Accept': '*/*',
      'Accept-Language': 'ru,en-US;q=0.9,en;q=0.8,ru-RU;q=0.7',
      'Cache-Control': 'no-cache',
      'Origin': 'https://myhttpheader.com',
      'CUSTOM_HEADER_1': 'value_1',
      'CUSTOM_HEADER_2': 'value_2'
    },
    // ⚠️ 注意:跨域时若需携带 Cookie,必须加 credentials: 'include'
    credentials: 'include'
  };

  fetch(url, options)
    .then(r => {
      if (!r.ok) throw new Error(`HTTP ${r.status} ${r.statusText}`);
      return r.text();  // 或 r.json() —— 但需确保后端返回合法 JSON
    })
    .then(data => callback(data))
    .catch(err => callback({ error: err.message }));
""")

print("Response:", response_text)
driver.quit()

? 关键点说明:

  • execute_async_script 的最后一个参数自动作为 JavaScript 中的 callback 函数注入;
  • credentials: 'include' 是携带 Cookie 的必要条件(同源或已配 CORS);
  • 使用 .text() 而非 .json() 可避免因响应非 JSON 导致脚本崩溃;后续在 Python 层用 json.loads() 安全解析更可控;
  • 若需 POST,添加 body: JSON.stringify({...}) 并设置 'Content-Type': 'application/json'。

⚠️ 代理未生效?原因与修复方案

你观察到代理无日志,根本原因在于:fetch 请求默认不走浏览器代理链(尤其当代理为 HTTP/HTTPS 类型时)。Chrome 对 fetch 的网络栈处理与页面导航不同,部分代理配置(如 --proxy-server)仅作用于主文档加载和资源请求,不强制覆盖 fetch。

✅ 推荐解决方案:

  1. 改用 CDP(Chrome DevTools Protocol)全局拦截(最可靠):
    driver.execute_cdp_cmd('Network.setProxy', {
        'proxy': {
            'proxyType': 'manual',
            'httpProxy': '127.0.0.1:8888',
            'sslProxy': '127.0.0.1:8888'
        }
    })
    driver.execute_cdp_cmd('Network.enable', {})
  2. 确保启动 Chrome 时启用 --proxy-server 且禁用自动化标志(如上例中 excludeSwitches);
  3. 验证代理有效性:访问 chrome://net-internals/#proxy 查看当前代理配置是否激活。

? 进阶能力:双通道封装(Fetch + requests.Session)

单一 fetch 方案适合「强依赖浏览器上下文」的场景(如需 JS 动态计算签名、Canvas Fingerprint),但调试困难、跨域受限。生产环境建议采用双通道策略:

  • 通道一(浏览器内):fetch → 自动携带 Cookie、Referer、TLS 会话,用于验证前端真实行为;
  • 通道二(Python 侧):将 Selenium 的 Cookie 同步至 requests.Session,复用同一登录态发起调试友好、可断点、易重试的请求:
import requests
from selenium.webdriver.common.by import By

# 同步 Cookie(自动转换格式)
session = requests.Session()
for cookie in driver.get_cookies():
    session.cookies.set(cookie['name'], cookie['value'], 
                        domain=cookie.get('domain', ''), 
                        path=cookie.get('path', '/'))

# 直接复用会话发请求(含所有认证信息)
resp = session.get("https://myhttpheader.com/", 
                   headers={"CUSTOM_HEADER_1": "value_1"})
print(resp.json())

该模式兼顾了可信性(浏览器态) 与可观测性(Python 控制流),是自动化测试框架中推荐的工程化实践。

✅ 总结:避坑清单

问题 原因 解决方案
fetch 返回 Promise 无法取值 execute_script 不等待异步 必用 execute_async_script + callback
代理对 fetch 无效 fetch 网络栈独立于导航代理 改用 CDP Network.setProxy 或验证代理类型
跨域请求被拦截 缺少 CORS 配置或 credentials 后端开 CORS + credentials: 'include' + mode: 'cors'
响应解析失败(如非 JSON) 直接调用 .json() 报错 先 .text(),再 Python 层 json.loads() 容错处理
Cookie 未自动携带 默认 credentials: 'omit' 显式设置 credentials: 'include'

通过合理封装 fetch 调用,Selenium 不再只是“点点点”工具,而是可深度参与接口层验证的全栈自动化引擎。掌握这一能力,你将真正打通 UI 自动化与接口测试的边界。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

相关专题

更多
js获取数组长度的方法
js获取数组长度的方法

在js中,可以利用array对象的length属性来获取数组长度,该属性可设置或返回数组中元素的数目,只需要使用“array.length”语句即可返回表示数组对象的元素个数的数值,也就是长度值。php中文网还提供JavaScript数组的相关下载、相关课程等内容,供大家免费下载使用。

5206

2023.06.20

js刷新当前页面
js刷新当前页面

js刷新当前页面的方法:1、reload方法,该方法强迫浏览器刷新当前页面,语法为“location.reload([bForceGet]) ”;2、replace方法,该方法通过指定URL替换当前缓存在历史里(客户端)的项目,因此当使用replace方法之后,不能通过“前进”和“后退”来访问已经被替换的URL,语法为“location.replace(URL) ”。php中文网为大家带来了js刷新当前页面的相关知识、以及相关文章等内容

1269

2023.07.04

js四舍五入
js四舍五入

js四舍五入的方法:1、tofixed方法,可把 Number 四舍五入为指定小数位数的数字;2、round() 方法,可把一个数字舍入为最接近的整数。php中文网为大家带来了js四舍五入的相关知识、以及相关文章等内容

5124

2023.07.04

js删除节点的方法
js删除节点的方法

js删除节点的方法有:1、removeChild()方法,用于从父节点中移除指定的子节点,它需要两个参数,第一个参数是要删除的子节点,第二个参数是父节点;2、parentNode.removeChild()方法,可以直接通过父节点调用来删除子节点;3、remove()方法,可以直接删除节点,而无需指定父节点;4、innerHTML属性,用于删除节点的内容。

980

2023.09.01

JavaScript转义字符
JavaScript转义字符

JavaScript中的转义字符是反斜杠和引号,可以在字符串中表示特殊字符或改变字符的含义。本专题为大家提供转义字符相关的文章、下载、课程内容,供大家免费下载体验。

1916

2023.09.04

js生成随机数的方法
js生成随机数的方法

js生成随机数的方法有:1、使用random函数生成0-1之间的随机数;2、使用random函数和特定范围来生成随机整数;3、使用random函数和round函数生成0-99之间的随机整数;4、使用random函数和其他函数生成更复杂的随机数;5、使用random函数和其他函数生成范围内的随机小数;6、使用random函数和其他函数生成范围内的随机整数或小数。

3645

2023.09.04

如何启用JavaScript
如何启用JavaScript

JavaScript启用方法有内联脚本、内部脚本、外部脚本和异步加载。详细介绍:1、内联脚本是将JavaScript代码直接嵌入到HTML标签中;2、内部脚本是将JavaScript代码放置在HTML文件的`<script>`标签中;3、外部脚本是将JavaScript代码放置在一个独立的文件;4、外部脚本是将JavaScript代码放置在一个独立的文件。

4753

2023.09.12

Js中Symbol类详解
Js中Symbol类详解

javascript中的Symbol数据类型是一种基本数据类型,用于表示独一无二的值。Symbol的特点:1、独一无二,每个Symbol值都是唯一的,不会与其他任何值相等;2、不可变性,Symbol值一旦创建,就不能修改或者重新赋值;3、隐藏性,Symbol值不会被隐式转换为其他类型;4、无法枚举,Symbol值作为对象的属性名时,默认是不可枚举的。

3120

2023.09.20

Gradle插件开发入门教程
Gradle插件开发入门教程

本专题介绍Gradle插件开发的基本流程,涵盖插件类编写、自定义任务注册、扩展参数设计和插件应用方法,帮助你理解插件如何组织构建逻辑,减少多个项目之间的重复配置。

40

2026.10.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn