讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux如何批量下载网页图片 使用wget递归下载

夏丽君_4993

夏丽君_4993

发布时间:2026-06-08 14:44:25

|

927人浏览过

|

来源于php中文网

原创

wget默认只跟踪a标签超链接,不抓img src图片;需用-r -p -A指定后缀并配合--span-hosts等参数才能下载图片。

linux如何批量下载网页图片 使用wget递归下载

wget递归下载图片时为什么只下到HTML,不抓图?

因为默认 wget 不识别图片链接——它只按超链接(a href)递归,而网页中图片多是 img src,不在默认抓取路径里。必须显式告诉它哪些后缀要当“资源”拉下来,并启用页面内资源下载。

关键参数组合:--recursive(或 -r)控制层级,--page-requisites(或 -p)拉取页面依赖(CSS/JS/图片),--accept 限定文件类型。

  • wget -r -p -A "*.jpg,*.jpeg,*.png,*.gif" https://example.com/gallery/
  • 加 -nH --cut-dirs=1 可避免生成嵌套过深的本地目录
  • 若目标站用相对路径引用图片(比如 src="images/photo.jpg"),-p 能自动补全并下载;但若图片在 CDN 域名上(如 src="https://cdn.example.net/pic.png"),默认不会跨域抓——得加 --span-hosts 并配合 --domains 白名单

如何防止 wget 下载整站或触发反爬?

递归没约束极易失控:可能顺着导航栏、分页链接一路扫到后台路径,甚至撞上 /wp-admin/ 或 /api/ 接口。不是所有链接都该进队列。

  • 用 --level=2 限制递归深度(例如只下当前页 + 链接页,共两层)
  • 用 --exclude-directories 排除敏感路径:--exclude-directories="/admin,/cgi-bin,/phpmyadmin"
  • 加 --random-wait 让请求间隔随机(0.5–1.5秒),比固定 --wait=1 更不易被封
  • 务必加 --user-agent 模拟浏览器,否则很多站直接 403:--user-agent="Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36"

下载的图片文件名乱码或重复怎么办?

网页里 img src 的 URL 可能含中文、空格、查询参数(如 ?v=123),wget 默认按原始 URL 命名,导致文件不可读或冲突。

  • 用 --restrict-file-names=windows 自动转义非法字符(斜杠→下划线,问号→@等),兼容性最好
  • 加 --convert-links 会重写 HTML 中的链接指向本地文件,方便离线浏览(但仅对 -p 下载的页面有效)
  • 如果发现大量同名文件(如全是 image.jpg),说明服务器返回的响应头没带 Content-Disposition,此时靠 wget 无法区分——得换方案,比如先用 curl 抓 HTML,再用 grep -o 'src="[^"]*"' | sed 's/src="//;s/"$//' | xargs -I{} wget {} 手动提取并去重

为什么有些图片明明在网页里却死活不下载?

常见于懒加载(data-src)、JS 渲染图片、Base64 内联图,或图片 URL 被动态拼接。这些 wget 完全看不见——它只处理静态 HTML 文本,不执行 JS。

这时候别硬刚递归参数。确认是否真需要这些图:

  • 如果是懒加载,查看源码里是否有 data-src,手动替换成 src 再试 -p
  • 如果是 JS 渲染(如 React/Vue 页面),wget 无解,得用 Puppeteer 或 Selenium 渲染后提取 img 标签
  • Base64 图片不用下,它们已编码在 HTML 里,提取出来 base64 decode 即可

递归下载本质是“静态快照”,对现代前端架构天然有盲区。判断是否适用,先右键“查看网页源代码”,搜 <img alt="Linux如何批量下载网页图片 使用wget递归下载" > ——如果图片 URL 在源码里明文存在,<code>wget 才靠谱;否则,换工具更省时间。

热门AI工具

更多
立刻MV
立刻MV Hot

立刻MV是一款AI文本写作工具,AI 音乐视频(MV)创作工具。

超级麦吉

一款通过数字员工协作完成调研、数据分析与文档制作的AI办公平台。

二狗PPT
二狗PPT Hot

一款AI演示文稿工具,主要用于专为中式职场打造的AI PPT生成工具,适合需要提升相关任务效率的用户。

Laper
Laper Hot

Laper是专为编剧、导演和制片人推出的 AI 原生剧本创作工具。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

讯飞绘文

讯飞绘文是一款由科大讯飞推出的一站式 AIGC 内容运营平台。

Lovart
Lovart Hot

一款面向视觉设计创作的AI设计平台,可通过智能体和画布工作流辅助制作海报、Logo、网页、PPT及其他视觉内容。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

4290

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3633

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2873

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

7070

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

6702

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3853

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

3345

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

3579

2023.07.25

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

60

2026.10.28

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn