讲师中心 微信公众号
AI工具推荐 视频效率加速

Codex如何批量下载网页内容?信息抓取自动化【详解】

风瑶小哥_7904

风瑶小哥_7904

发布时间:2026-06-09 13:52:35

|

831人浏览过

|

来源于php中文网

原创

需用Node.js和本机Chrome批量抓取公众号文章为结构化Markdown:先配置PUPPETEER_EXECUTABLE_PATH指向Chrome,再运行脚本逐条处理urls.txt中的mp.weixin.qq.com/s/链接,自动下载图片并重写为本地路径。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

codex如何批量下载网页内容?信息抓取自动化【详解】

你需要从多个网页批量提取正文、图片和链接,并直接存为结构化 Markdown 文件,而不是手动复制粘贴每一篇。

准备抓取环境

先确认本地已安装 Node.js(v18.0+)和 Google Chrome 浏览器。Codex 抓取公众号 Skill 依赖 Puppeteer,它默认会尝试下载 Chromium,但国内网络常失败且体积大;【必须使用本机已安装的 Chrome】才能跳过这一步,大幅缩短初始化时间。

打开终端,执行 node -v 和 google-chrome --version(macOS)或 chrome.exe --version(Windows)验证两者存在。

若 Chrome 已安装但终端无法识别命令,请将 Chrome 可执行文件路径加入系统环境变量,或记下完整路径备用(如 C:\Program Files\Google\Chrome\Application\chrome.exe)。

获取并配置微信公众号抓取 Skill

访问阿一 AI 站文章页:https://www.php.cn/link/aa7d314c99cb745f0d195cc594ac56fd,找到「微信公众号文章抓取 Skill」下载链接,点击下载 ZIP 包(约 9.5MB)。

解压到任意本地文件夹,例如 ~/codex-skills/wechat-scrape。

进入该目录,用文本编辑器打开 SKILL.md,确认其触发条件为匹配 mp.weixin.qq.com/s/ 开头的 URL——这是后续自动调用的关键依据。

设置环境并运行单次抓取

在解压目录中打开终端,执行:

npm install

安装完成后,设置环境变量指向本机 Chrome:

macOS/Linux:export PUPPETEER_EXECUTABLE_PATH="/Applications/Google Chrome.app/Contents/MacOS/Google Chrome"

Windows(PowerShell):$env:PUPPETEER_EXECUTABLE_PATH="C:\Program Files\Google\Chrome\Application\chrome.exe"

然后运行抓取脚本:node scripts/save-markdown.js "https://mp.weixin.qq.com/s/xxxxx"(把 xxxxx 替换为目标文章真实 ID)。

Codex Imagen
Codex Imagen

通过本地 Codex 或 OpenClaw OAuth 凭证直接调用 ChatGPT/Codex Responses 的 image_generation 工具来生成或编辑光栅图像,然后保存

下载

成功时终端输出类似:已保存: 20260601_福布斯2024中国内地富豪榜:钟睒睒连续4年成首富.md,文件内含标题、公众号名、作者、发布时间、原文链接、纯文本正文、HTML 片段、图片 URL 列表及外链。

实现批量下载:三步写死循环

第一步:新建一个 urls.txt 文件,每行一个公众号文章 URL,例如:

https://mp.weixin.qq.com/s/abc123
https://mp.weixin.qq.com/s/def456
https://mp.weixin.qq.com/s/ghi789

第二步:在同一目录下创建 batch-run.js,内容如下:

const fs = require('fs');
const { execSync } = require('child_process');
const urls = fs.readFileSync('urls.txt', 'utf8').trim().split('\n');
urls.forEach((url, i) => {
  console.log(`[${i + 1}/${urls.length}] 正在处理: ${url}`);
  execSync(`node scripts/save-markdown.js "${url}"`, { stdio: 'inherit' });
});

第三步:执行 node batch-run.js。脚本会逐条读取 URL 并调用抓取逻辑,每完成一篇就输出保存路径,全部结束后自动退出。

注意:Puppeteer 启动 Chrome 实例有开销,若目标 URL 超过 50 条,建议在 execSync 后加 setTimeout(() => {}, 2000) 防止页面加载竞争导致失败。

规避图片失效问题

生成的 Markdown 中图片链接默认是微信 CDN 地址,直接打开会 403 或过期。你必须额外配置图片下载与重写逻辑。

打开 scripts/scrape-wechat.js,定位到 const imgUrls = [...] 附近,在其后插入以下代码块:

const downloadAndRewriteImages = async (html, dirName) => {
  const $ = cheerio.load(html);
  const imgDir = path.join(__dirname, '..', 'images', dirName);
  if (!fs.existsSync(imgDir)) fs.mkdirSync(imgDir, { recursive: true });
  let index = 0;
  for (const img of $('img')) {
    const src = $(img).attr('data-src') || $(img).attr('src');
    if (!src) continue;
    const ext = path.extname(new URL(src).pathname) || '.jpg';
    const fileName = `${dirName}_${String(index++).padStart(3, '0')}${ext}`;
    const localPath = path.join(imgDir, fileName);
    await pipeline(axios.get(src, { responseType: 'stream' }), fs.createWriteStream(localPath));
    $(img).attr('src', `./images/${dirName}/${fileName}`);
  }
  return $.html();
};

再找到最终返回 Markdown 的位置(通常在 return md 前),插入 const finalHtml = await downloadAndRewriteImages(htmlContent, slug); 并将 htmlContent 替换为 finalHtml。

这一步做完后,每次运行都会自动下载图片到 images/ 子目录,并将 Markdown 中的图片路径改为相对本地路径,双击即可离线查看完整图文。

热门AI工具

更多
咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

PixTV
PixTV Hot

PixTV是一款面向AIGC内容创作的AI视频生成工具。

Seko
Seko Hot

一款AI视频创作工具,主要用于商汤科技推出的创编一体的AI短视频创作Agent,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

UP简历
UP简历 Hot

一款AI办公效率工具,主要用于基于AI技术的免费在线简历制作工具,适合需要提升相关任务效率的用户。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
Codex AI 编程代理与智能开发工作流
Codex AI 编程代理与智能开发工作流

Codex 是一款超越传统代码生成的 AI 编程代理,致力于构建全生命周期的智能开发工作流。通过持久线程保留上下文,支持多智能体并行协作与后台自动化运维。借助沙箱权限控制、Plan/Steer 任务管理机制,Codex 既能自主拆解并执行复杂工程任务,又能让开发者牢牢掌控项目进程。从需求分析、编码测试到代码审查与部署,Codex 将 AI 深度融入研发全链路,极大提升了软件工程的交付效率与质量标准。

574

2026.05.26

Codex API集成与AI编程生态开发
Codex API集成与AI编程生态开发

Codex API 集成是构建下一代 AI 编程生态的核心基石,能通过 API 将强大的代码生成与推理能力无缝接入 VS Code、JetBrains 等主流 IDE 插件,还能将其深度嵌入 CI/CD 流水线,实现自动化的代码审查、单元测试生成与 Bug 修复。结合 Amazon Bedrock 等云平台的托管服务,企业可以灵活打造符合内部安全规范的专属 AI 编程助手。

244

2026.05.26

Codex 模型原理与AI软件工程进阶
Codex 模型原理与AI软件工程进阶

Codex 是基于通用大模型底座,通过海量代码语料与真实 Pull Request 进行专项微调的代码专用模型,能深度理解代码语法树与跨文件依赖,实现从自然语言到高质量工程代码的精准转化。在 AI 软件工程进阶中,Codex 推动了从提示词工程向“驾驭工程(Harness Engineering)”的范式跃迁。

177

2026.05.26

Codex AI编程工具新手指南
Codex AI编程工具新手指南

全面解析Codex AI编程工具的核心原理、功能特点与实际用途,提供适合新手的Codex入门教程、环境配置方法、代码生成演示与常见问题解答,帮助开发者快速掌握AI自动写代码能力,提升编程学习与开发效率。

410

2026.05.27

Codex Agent编程与自主开发能力调优专题
Codex Agent编程与自主开发能力调优专题

PHP中文网为您提供Codex Agent编程与自主开发能力调优专题。针对AI Agent全权委托开发模式,我们为您系统梳理了Harness Engineering(驾驭工程)核心理念,以及涵盖AGENTS.md规范编写、Skills技能配置、Worktree沙盒隔离与多Agent协作架构的实战指南。

228

2026.06.10

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

60

2026.10.16

OpenJDK怎么配置Java开发环境
OpenJDK怎么配置Java开发环境

怎样用OpenJDK搭建开发环境?本专题介绍版本选择、下载安装、环境变量配置和编译运行验证,帮助你理清JDK的作用及基本配置流程,并通过简单程序检查环境是否可用,为后续项目开发做好准备。

40

2026.10.16

OpenJDK怎么部署Java应用
OpenJDK怎么部署Java应用

Java项目开发完成后,怎样部署到目标环境并正常运行?本专题介绍OpenJDK应用部署流程,涵盖运行环境准备、版本兼容检查、应用打包、启动参数配置和日志查看,帮助你理清部署前后的操作顺序,减少环境差异造成的运行问题。

40

2026.10.16

Revel框架模板渲染与表单验证
Revel框架模板渲染与表单验证

本专题围绕Revel框架视图层开发,介绍模板语法、变量输出、布局复用、表单提交、参数绑定与验证规则,帮助开发者完成安全规范的页面交互。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Codex 应用程序简介
Codex 应用程序简介

共0课时 | 167人学习

Codex官方文档
Codex官方文档

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn