讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux怎么使用Wget下载整个网站

秋婷君_1519

秋婷君_1519

发布时间:2026-07-02 17:23:21

|

620人浏览过

|

来源于php中文网

原创

wget -r 默认会无差别下载所有超链接资源,包括跨域CDN、第三方JS和广告;因其递归模式解析HTML中所有a/img/script标签URL,不区分路径类型、不检查robots.txt、可能因重定向跳转至无关域名。

linux怎么使用wget下载整个网站

wget -r 默认会无差别下载所有超链接资源,包括跨域 CDN、第三方 JS 和广告——别直接上 -r。

为什么 wget -r 会下错东西

递归模式本质是「解析 HTML 中所有 a、img、script 标签里的 URL 并尝试下载」。问题不在功能弱,而在太“老实”:

  • 不区分相对路径和绝对路径:href="https://cdn.example.com/logo.png" 也会被拉取
  • 默认不检查 robots.txt(除非加 -m 或显式 --user-agent)
  • 遇到 302 重定向可能跳到完全无关域名,比如从 example.com 跳到 tracking.net

wget -m 是更安全的起点,但必须加护栏

-m(mirror)不是一键镜像开关,它等价于 -r -N -l inf --no-remove-listing,只解决了一半问题。真正起作用的是后面这三道强制护栏:

  • --domains=example.com:只允许下载该域名及子域名(支持逗号分隔,如 --domains=example.com,cdn.example.com)
  • --no-parent(简写 -np):禁止向上翻目录,避免从 /blog/ 爬到根路径甚至跨站
  • --convert-links(简写 -k)+ --page-requisites(简写 -p):确保 HTML 能本地打开——-p 下 CSS/图片/字体,-k 把所有远程路径转为相对路径

典型可用命令:wget -m -np -k -p -D example.com -R "*.php,*.cgi" https://example.com/

Zynq Linux Hardware Debug
Zynq Linux Hardware Debug

Zynq‑7000 / Zynq UltraScale+ 硬件调试技能。适用于 Xilinx Zynq(Cortex‑A9/A53 + FPGA)Linux 环境,调试 I2C、I2S、UART、GPIO 等外设。包括设备树配置、内核驱动、用户空间调试工具、交叉编译和常见问题排查,支持 PetaLinux 开发。

下载

只下 HTML + 静态资源,不要 JS 执行结果

很多场景只要离线可浏览的静态快照,不关心 JS 渲染逻辑或 API 返回内容。这时 -p -k -nd 比 -r 更精准:

  • -p 只抓当前页面引用的资源(CSS、图片、WebP、SVG 字体),不会递归进这些资源内部的链接
  • -k 必须跟上,否则本地双击 HTML 时所有 src 和 href 仍是远程地址
  • --no-host-directories(简写 -nd)把所有文件平铺到当前目录,避免生成 example.com/ 子目录

示例:wget -p -k -nd https://example.com/about.html

最容易被忽略的两个坑

一是 robots.txt:即使加了 -m,如果目标站 robots.txt 把 / 拒绝了,wget 会直接退出——调试时可用 --ignore-robots,但生产环境慎用;

二是时间戳同步:-N 依赖服务器返回 Last-Modified 头,而大多数 CDN、S3 静态站根本不发这个头,导致每次重跑都重复下载。这种情况下,--timestamping(基于本地文件 mtime 判断)反而比 -N 更可靠。

热门AI工具

更多
Atoms
Atoms Hot

Atoms是一款AI智能体工具,第一支自动构建真实业务的 AI 团队。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

音述AI
音述AI Hot

一款AI音频处理工具,主要用于音述AI是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区,适合需要提升相关任务效率的用户。

UpDream
UpDream Hot

一款AI视频创作工具,主要用于哔哩哔哩推出的自研AI视频创作工具,适合需要提升相关任务效率的用户。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

VibeKnow
VibeKnow Hot

一款AI视频创作工具,主要用于全球首个AI知识视频创作平台,文档、文章、网页,一键生成视频,适合需要提升相关任务效率的用户。

切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4130

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3493

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2713

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

6630

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6282

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3633

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3125

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3359

2023.07.25

Playwright 测试失败怎么办
Playwright 测试失败怎么办

Playwright测试失败专题汇集超时、定位器匹配、浏览器提前关闭、依赖与插件配置、文件上传、SSL及Docker启动等故障文章,并介绍通过截图、报告和Trace定位错误。

0

2026.10.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn