<base>标签对网页爬虫没有直接作用，主流爬虫不依赖它解析链接，而是以原始页面URL为基准按标准算法解析href；仅少数基于浏览器的爬虫（如Puppeteer）因DOM已解析可能间接体现其影响。
<base> 标签对网页爬虫**没有直接作用**，也不会改变爬虫解析链接的行为逻辑。
爬虫不依赖 base href 解析超链接
主流爬虫（如 Scrapy、Requests + BeautifulSoup、Puppeteer、搜索引擎爬虫）在提取 <a href="..."> 时，通常按以下方式处理：
- 先获取当前页面的原始 URL（即响应头中的
url或请求地址） - 再用标准 URL 解析算法（如 WHATWG URL Standard）将
href值相对于该原始 URL 进行解析 -
<base href="...">是浏览器渲染阶段的 HTML 特性，爬虫一般不执行完整 HTML 解析流程，也不读取或应用<base>
哪些情况可能“看似”受影响？
少数场景下出现偏差，并非 <base> 起了作用，而是爬虫实现细节导致：
- 使用 Puppeteer / Playwright 等基于浏览器的爬虫：若页面已加载并执行 DOM 解析，
document.baseURI会被设为<base href>的值，此时link.href属性读取的是已解析后的绝对地址 —— 但这属于浏览器行为透出，不是爬虫主动识别<base> - 某些老旧或简化版 HTML 解析器（如部分正则提取工具）完全忽略
<base>，导致相对链接误算；但这属于 bug，不是设计意图 - SEO 场景中，Googlebot 等现代爬虫虽会解析
<base>（用于资源加载模拟），但其链接发现（link discovery）仍以原始文档 URL 为基准，<base>不改变<a>的语义来源
真正影响爬虫链接提取的关键点
如果你发现爬虫提取的链接和浏览器里点击跳转的不一致，问题大概率不在 <base>，而在于：
立即学习“前端免费学习笔记（深入）”；
- 爬虫未正确传递 Referer 或 Host 头，导致服务端返回不同 HTML（比如移动/桌面版切换）
- 目标链接是 JS 动态生成（
location.href = '...'、router.push()），而爬虫未执行 JS - 页面用了前端路由（如 Vue Router history 模式），
<a href="/user">实际不发 HTTP 请求，爬虫却把它当真实链接提取 -
<base href>配置错误（如结尾缺/、含..），导致浏览器加载失败，但爬虫照常提取原始href值 —— 此时你看到的是“爬虫能取到，但用户打不开”
简单说：<base> 是给浏览器看的路径重写规则，不是给爬虫的协议指令。依赖它来控制爬虫行为，相当于让快递员按门牌贴纸（而非实际楼号）送件 —— 大多数时候他根本不看那张纸。
