本文详解如何在 requests-html 的 HTMLSession.get() 方法中集成 NTLM 身份认证（如 requests_ntlm.HttpNtlmAuth）并启用自签名/企业 CA 证书校验，确保安全、可靠地访问受 Windows 域保护的内网网页。
本文详解如何在 requests-html 的 `htmlsession.get()` 方法中集成 ntlm 身份认证（如 `requests_ntlm.httpntlmauth`）并启用自签名/企业 ca 证书校验，确保安全、可靠地访问受 windows 域保护的内网网页。
requests-html 是基于 requests 构建的 HTML 解析库，其 HTMLSession 完全继承了 requests.Session 的所有参数能力，因此可直接通过 auth 和 verify 参数注入认证对象与证书路径——无需额外封装或 monkey patch。
✅ 正确用法：NTLM 认证 + 证书验证
首先安装必要依赖：
pip install requests-html requests-ntlm
然后在代码中显式传入 auth（支持 HttpNtlmAuth）和 verify（支持 PEM 格式证书路径或 False 禁用验证）：
import logging
from requests_html import HTMLSession
from requests_ntlm import HttpNtlmAuth
def get_url(url: str, username: str, password: str, cert_path: str = None) -> HTMLResponse:
s = HTMLSession()
# 构造 NTLM 认证对象（格式：DOMAIN\username 或 username@DOMAIN）
auth = HttpNtlmAuth(username, password)
try:
# 同时传递 auth 和 verify：cert_path 为 None 时默认使用系统 CA；设为字符串路径则加载指定证书
response = s.get(
url,
auth=auth,
verify=cert_path or True # 若 cert_path 为空，保持默认 TLS 验证
)
response.raise_for_status() # 主动抛出 HTTP 错误（如 401/403）
except Exception as e:
logging.exception(f"HTTP 请求失败：{e}")
raise
# 渲染 JavaScript（需已安装 pyppeteer 或 chromium）
response.html.render(timeout=20, sleep=2)
return response
# 使用示例
if __name__ == "__main__":
url = "https://intranet.company.local/dashboard"
resp = get_url(
url=url,
username="CORP\jsmith",
password="MySecurePass123!",
cert_path="/path/to/company-root-ca.pem" # 可选：企业内部根证书路径
)
print(resp.html.find("title", first=True).text)⚠️ 关键注意事项
- NTLM 用户名格式：务必使用 DOMAINusername 或 username@DOMAIN 格式；纯用户名可能被服务端拒绝；
- 证书路径有效性：verify= 接收字符串（.pem 或 .crt 文件路径）、True（系统默认 CA）、False（跳过验证，仅限测试环境）；
- 渲染依赖：response.html.render() 需提前运行 pyppeteer-install 或配置 Chromium 路径，否则会抛出 BrowserError；
- 异常处理建议：除通用 Exception 外，推荐捕获 requests.exceptions.RequestException 及其子类（如 ConnectionError, Timeout, HTTPError），便于精细化重试或告警；
- 会话复用优势：HTMLSession 自动复用连接与 Cookie，多次请求同一域时应复用 s 实例，而非每次新建。
✅ 总结
requests-html 对底层 requests 特性的完全兼容，使其天然支持 NTLM、Digest、OAuth2 等各类认证方式及完整 TLS 控制能力。只需将认证对象与证书路径作为标准关键字参数传入 get()，即可在保留 HTML 渲染能力的同时，安全访问企业级内网资源。切勿绕过 verify 参数生产部署——始终优先配置可信 CA 证书路径，而非设为 False。
立即学习“前端免费学习笔记（深入）”；
