讲师中心 微信公众号
AI工具推荐 视频效率加速

如何在Linux中安装并使用Wget下载网页 Linux批量下载文件的方法

夏浩酱_2802

夏浩酱_2802

发布时间:2026-06-07 17:55:05

|

1023人浏览过

|

来源于php中文网

原创

wget默认已安装,未安装时用包管理器安装即可;下载网页需-p -k -E参数组合实现离线浏览;批量下载推荐xargs并行;镜像网站用-m -k -p -E --no-parent,注意robots.txt限制及动态内容无法抓取。

如何在linux中安装并使用wget下载网页 linux批量下载文件的方法

wget 在绝大多数现代 Linux 发行版中默认已安装;若未安装,直接用包管理器补上即可,无需额外编译或配置。

检查是否已安装 wget

运行 wget 命令本身就能快速验证:

  • 如果输出 wget: missing URL,说明已就位,可直接使用
  • 如果提示 command not found,则需安装

常见发行版安装命令如下:

  • CentOS/RHEL 7/8:yum install wget -y 或 dnf install wget -y
  • Ubuntu/Debian:apt install wget -y

注意:yum 在 CentOS 8+ 已被 dnf 替代;若遇到 Failed to set locale 类错误,先执行 export LC_ALL=C 再安装更稳妥。

下载单个网页(含资源)

单纯用 wget https://example.com 只会保存 HTML 文件,页面样式、图片、JS 全丢。要让网页能离线打开,得加关键参数:

  • -p:下载所有必要资源(CSS、图片、JS 等)
  • -k:重写 HTML 中的链接,指向本地文件
  • -E:自动将 index.html 后缀补全(如响应是 text/html 但无后缀)

完整命令示例:wget -p -k -E https://example.com/about。执行后会在当前目录生成 example.com/ 子目录,里面包含可离线浏览的完整页面。

Zynq Linux Hardware Debug
Zynq Linux Hardware Debug

Zynq‑7000 / Zynq UltraScale+ 硬件调试技能。适用于 Xilinx Zynq(Cortex‑A9/A53 + FPGA)Linux 环境,调试 I2C、I2S、UART、GPIO 等外设。包括设备树配置、内核驱动、用户空间调试工具、交叉编译和常见问题排查,支持 PetaLinux 开发。

下载

容易踩的坑:-p 不会递归抓取其他页面,只限当前 URL 所需资源;若页面内嵌 iframe 或 JS 动态加载内容,wget 无法处理——它不执行 JavaScript。

批量下载多个文件(并行加速)

wget -i list.txt 是串行下载,一个接一个,慢且不可控。真正提速得靠并行:

  • 用 xargs 控制并发数最干净:cat list.txt | xargs -n1 -P4 wget -q(-P4 表示最多 4 个并发)
  • -q 必须加,否则各进程输出混在终端里,无法分辨哪条失败
  • 失败时 xargs 默认不中断,可用 --max-procs=4 替代 -P4 获取更明确退出控制(GNU xargs 支持)

不要用 wget -b 或 & 后台启动多个 wget——日志分散、错误难捕获、无并发数限制,容易打爆远程服务器或本地连接数上限。

下载整个网站或特定类型文件

镜像网站不是简单加 -r 就完事。典型组合:

  • wget -m -k -p -E --no-parent https://docs.example.com/
  • -m(mirror)等价于 -r -N -l inf --no-remove-listing,适合增量更新
  • --no-parent(即 -np)防止爬到上级目录,避免越界
  • 若只要 PDF 和 ZIP 文件,加 -A "*.pdf,*.zip";想排除 HTML,用 -R "*.html,*.htm"

关键提醒:很多网站通过 robots.txt 禁止爬取,wget 默认遵守。若确定有权限且需绕过,必须显式加 -e robots=off,否则可能什么也下不到。

最后注意:wget 的递归行为高度依赖页面内链接是否真实存在、是否可被静态解析。AJAX 渲染的列表页、登录后才显示的资源、带 token 的动态 URL,它一律无能为力。

热门AI工具

更多
切问学术

切问学术是一款AI论文写作工具,复旦大学NLP团队推出的AI学术智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

PixPix
PixPix Hot

PixPix是一款面向电商视觉生产的AI商品图生成工具。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4070

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3473

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2653

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

6470

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6122

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3553

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3045

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3279

2023.07.25

OpenJDK JVM参数怎么调优
OpenJDK JVM参数怎么调优

Java应用运行缓慢,如何调整JVM参数?本专题介绍OpenJDK JVM性能调优的基本流程,涵盖性能指标确认、运行数据采集、内存配置和垃圾回收分析,帮助你先定位瓶颈,再通过对照测试验证效果,避免直接套用参数而影响应用稳定性。

20

2026.10.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Python uv官方安装与入门文档
Python uv官方安装与入门文档

共0课时 | 0人学习

Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn