讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在VSCode中配置Node环境并利用Puppeteer实现无界面网页爬取

夏萱小哥_3301

夏萱小哥_3301

发布时间:2026-07-09 11:44:03

|

868人浏览过

|

来源于php中文网

原创

Puppeteer安装与配置需先确保Node.js和npm全局可用,再通过npm install puppeteer-core初始化项目,配合手动指定Chrome路径、合理设置启动参数及VSCode调试配置实现稳定运行。

如何在vscode中配置node环境并利用puppeteer实现无界面网页爬取

确认本地已安装 Node.js 且 node 和 npm 可全局调用

VSCode 本身不自带 Node 运行时,它只是编辑器。如果你运行 node --version 或 npm --version 报错“command not found”,说明系统 PATH 没识别到 Node 安装路径——Puppeteer 根本跑不起来,别急着装插件或改 VSCode 设置。

常见错误现象:ReferenceError: require is not defined(在 JS 文件里直接写 require('puppeteer') 却报错),往往是因为你误把文件当浏览器环境执行了,而不是用 node 命令运行。

  • macOS / Linux:检查 which node 是否有输出;若无,重装 Node(推荐用 brew install node 或从官网下载 pkg)
  • Windows:打开 CMD 执行 where node,确认返回路径包含 Program Files odejs;若无,安装时勾选 “Add to PATH”
  • VSCode 终端需重启才能读取新 PATH —— 关掉所有终端窗口再新开一个

初始化项目并安装 Puppeteer 的正确方式

puppeteer 默认会自动下载 Chromium,但国内网络常卡在下载阶段,导致 npm install puppeteer 长时间无响应甚至失败。这不是你代码的问题,是网络策略导致的。

使用场景:你只需要爬取 HTML、截图、提取数据,不需要调试浏览器界面,所以用 puppeteer-core + 手动指定已安装 Chrome 更稳定。

  • 先执行 npm init -y 初始化项目
  • 安装精简版:npm install puppeteer-core
  • 确保本机已安装 Chrome(版本 ≥90),然后通过 executablePath 指向它:
    const browser = await puppeteer.launch({
      executablePath: '/Applications/Google Chrome.app/Contents/MacOS/Google Chrome', // macOS
      // executablePath: 'C:\Program Files\Google\Chrome\Application\chrome.exe', // Windows
      headless: true,
    });
  • 避免全局安装 puppeteer —— 它会反复下载二进制,且不同项目版本冲突风险高

VSCode 中调试 Puppeteer 脚本的关键配置

直接按 F5 运行 JS 文件大概率失败,因为 VSCode 默认调试器不加载 package.json 的 type: "module" 或 CommonJS 规则,也不自动设 node 解析器。

Rydberg Agent Node
Rydberg Agent Node

使用一条命令部署ProbeChain Rydberg测试网代理节点。自动注册为Agent(NodeType=1),免gas,支持macOS/Linux/Windows。触发词:/r

下载

容易踩的坑:Cannot use import statement outside a module 错误,不是语法错,是运行时没启用 ES Module 支持。

  • 在项目根目录加 .vscode/launch.json,内容为:
    {
      "version": "0.2.0",
      "configurations": [
        {
          "type": "node",
          "request": "launch",
          "name": "Launch Puppeteer",
          "skipFiles": ["<node_internals>/**"],
          "program": "${file}",
          "console": "integratedTerminal",
          "internalConsoleOptions": "neverOpen"
        }
      ]
    }
  • 若用 ES Module(即写 import puppeteer from 'puppeteer-core'),必须在 package.json 加 "type": "module",且确保 Node 版本 ≥14.18
  • 若用 CommonJS(const puppeteer = require('puppeteer-core')),就别加 "type": "module",否则报错

处理常见反爬拦截:启动参数和等待策略不能省

Puppeteer 默认 User-Agent 和行为特征太明显,很多网站(如知乎、微博、电商详情页)会直接返回 403 或空白页。光靠 headless: true 不够,得模拟真实浏览器上下文。

性能影响:加太多启动参数会略微拖慢启动速度,但能显著提升成功率;不加的话,可能爬 10 次失败 7 次。

  • 必加基础参数:
    await puppeteer.launch({
      headless: true,
      args: [
        '--no-sandbox',
        '--disable-setuid-sandbox',
        '--disable-blink-features=AutomationControlled',
        '--disable-web-security',
      ],
    });
  • 启动后立即覆盖 navigator.webdriver:
    await page.evaluateOnNewDocument(() => {
      Object.defineProperty(navigator, 'webdriver', { get: () => undefined });
    });
  • 别用 page.waitForTimeout(2000) 硬等,优先用 page.waitForSelector('main') 或 page.waitForNetworkIdle(),更可靠

网页结构动态渲染、懒加载、登录态校验这些逻辑,得靠具体页面分析,没有通用解法。Puppeteer 只负责打开、执行、取数,怎么应对目标站点,得你自己看 Network 面板和 Elements 实时变化。

热门AI工具

更多
豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

相关专题

更多
vscode是什么_vscode怎么安装配置
vscode是什么_vscode怎么安装配置

VS Code(Visual Studio Code)是一款免费、开源的跨平台代码编辑器,由微软开发和维护。它被广泛用于软件开发和编程,支持多种编程语言和框架。VS Code 同时提供了丰富的功能和扩展性,使开发者可以高效地编写、编辑和调试代码。

1375

2023.06.30

vscode怎么运行代码
vscode怎么运行代码

vscode是一个运行于MacOS X、Windows和Linux之上的,针对于编写现代Web和云应用的跨平台源代码编辑器;vscode免费而且功能强大,对JavaScript和NodeJS的支持非常好,自带很多功能,例如代码格式化,代码智能提示补全、Emmet插件等。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2892

2023.07.21

vscode使用的框架介绍
vscode使用的框架介绍

VSCode是一款跨平台代码编辑器,它基于Electron框架和Monaco Editor构建。想了解更多vscode的相关内容,可以阅读本专题下面的文章。

1969

2024.03.14

vscode一般用来写什么语言
vscode一般用来写什么语言

VSCode是一款功能强大的代码编辑器,支持多种编程语言和文件格式。它内置对 JavaScript、Python、Java、C++、TypeScript、HTML/CSS、Go 等语言的支持。想了解更多vscode的相关内容,可以阅读本专题下面的文章。

1727

2024.03.14

vscode可以写什么语言
vscode可以写什么语言

vscode是一款强大的代码编辑器,支持多种编程语言的开发。通过安装扩展,可以为 JavaScript/TypeScript、Python、Java、C#、PHP、Go、Ruby、Rust、HTML/CSS 等语言提供智能代码补全、调试和格式化等功能。想了解更多vscode的相关内容,可以阅读本专题下面的文章。

2607

2024.03.15

vscode中文设置方法
vscode中文设置方法

方法一:在设置页面中,搜索“locale”,并选择“zh-cn”。方法二:按“Ctrl Shift P”快捷键,输入“Configure Display Language”,将语言修改为“zh-cn”。如果上述方法无效,可考虑安装中文插件。想了解更多vscode的相关内容,可以阅读本专题下面的文章。

1838

2024.03.15

vscode用途介绍
vscode用途介绍

Visual Studio Code(VSCode)是一款由 Microsoft 开发的多功能文本编辑器,适用于各种编程语言。作为一款开源软件,VSCode 拥有代码高亮、自动补全、调试、Git 集成等强大功能,成为程序员不可或缺的工具。想了解更多vscode的相关内容,可以阅读本专题下面的文章。

1262

2024.03.15

vscode和visualstudio的区别
vscode和visualstudio的区别

Visual Studio是一款功能强大的集成开发环境(IDE),适用于专业开发人员进行复杂项目的构建。而VSCode则是一款轻量级的代码编辑器,更适合各种规模的项目开发。想了解更多vscode的相关内容,可以阅读本专题下面的文章。

1116

2024.03.15

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn