讲师中心 微信公众号
AI工具推荐 视频效率加速

Linux怎么在命令行下载网页内容

冬辰君_4733

冬辰君_4733

发布时间:2026-09-13 12:29:46

|

574人浏览过

|

来源于php中文网

原创

curl -o 指定本地文件名,-O 用 URL 原始文件名;需加 -L 跟跳转,-sS 静默但报错;wget 用 -p -k -nd 才能本地正常浏览;注意 User-Agent、Referer、断点续传及查询参数导致的文件名问题。

linux怎么在命令行下载网页内容

直接用 curl 或 wget 就能完成,不用装额外工具,也不需要图形界面——但选哪个、怎么写参数,决定了你能不能拿到真正想要的内容(比如带图片的完整页面,还是纯 HTML 文本,或者干脆连重定向都跳不过去)。

curl -o 和 curl -O 的区别必须分清

curl -o 是你指定本地文件名,curl -O 是自动用 URL 里的文件名(比如 https://example.com/index.html 会存成 index.html)。如果 URL 没有显式文件后缀(如 https://example.com/),-O 会失败或存成奇怪的名字(比如 index.html?ref=1 变成 index.html?ref=1,Linux 文件系统允许,但难处理)。

  • 要保存为固定名字(推荐日常使用):curl -o page.html https://example.com
  • 要按远端原始名保存(适合下载已知路径的资源):curl -O https://example.com/style.css
  • 加 -L 才能跟随 301/302 跳转,否则遇到重定向就停住并报错(常见于 HTTPS 自动跳转或短链接)
  • -sS 组合更实用:静默错误但保留失败提示(-s 静音进度,-S 失败时仍输出错误)

wget 递归下载网页时 -p -k -nd 这三个参数常被漏掉

单纯 wget https://example.com 只下载 HTML 文件,页面打开后全是挂掉的图片和 CSS 链接。要让页面在本地“能看”,得补全依赖资源并修复路径。

onewo-rtlinux
onewo-rtlinux

Linux 实时编程助手。生成、审查并修改用于周期性控制任务和中断驱动程序的 C 代码。强制实施实时调度策略。

下载
  • -p:下载 HTML 引用的所有资源(CSS、JS、图片等)
  • -k:把 HTML 里的远程链接(如 https://example.com/style.css)改成本地相对路径(如 style.css)
  • -nd:避免创建嵌套目录(默认会建 example.com/ 子目录),所有文件平铺到当前目录,方便管理
  • 不加 -r(递归)的话,-p 和 -k 也只作用于首页;加了 -r 后要注意控制深度(-l 2)和域名范围(-D example.com),否则可能顺着外链爬走

遇到 403 或空响应?检查 User-Agent 和 Referer

很多网站会拦截默认 curl/wget 请求头,返回空内容或 403。这不是网络问题,是服务端主动拒绝。

  • 加 -A "Mozilla/5.0 (X11; Linux x86_64)..." 模拟浏览器(curl)
  • 或用 --user-agent="..."(wget)
  • 部分站点还校验 Referer,可加 -e "https://example.com/"(wget)或手动构造 header:-H "Referer: https://example.com/"(curl)
  • 注意:有些网站还会检查 Cookie 或 JS 渲染,这时命令行工具无解,得换 playwright 或 puppeteer

下载大文件或不稳定网络下别忘了断点续传

wget -c 是成熟可靠的断点续传机制,curl 没有内置等效参数——它靠 -C -(大写 C 加短横)实现,但要求服务器支持 Range 请求且本地已有部分文件。

  • wget -c https://example.com/big.iso:安全、通用、自动识别已下载部分
  • curl -C - -o big.iso https://example.com/big.iso:必须确保 big.iso 已存在且不为空,否则报错退出
  • wget --limit-rate=2m 可防占满带宽,curl 没有等效限速参数(需用 trickle 等外部工具包裹)

最易被忽略的是:URL 中的查询参数(如 ?v=1.2.3)会让 wget -O 或 curl -O 生成带问号的文件名,而某些 shell 或文件系统对这类名字处理异常;手动用 -o 指定干净文件名才是稳妥做法。

热门AI工具

更多
WorkBuddy

一款AI办公效率工具,主要用于腾讯云推出的AI原生桌面智能体工作台,适合需要提升相关任务效率的用户。

AionClaw
AionClaw Hot

AionClaw是一款面向办公、创作和编程任务的AI桌面智能体。

DeepSeek

DeepSeek是一款面向对话、写作、编程和推理场景的AI大模型工具。

Loomy
Loomy Hot

一款AI工具,主要用于科大讯飞发布的桌面级 AI 助理,比 OpenClaw 更易用、更安全!,适合需要提升相关任务效率的用户。

咔片AIPPT

一款在线AI演示文稿制作工具,可根据主题和内容需求辅助生成PPT结构与页面,提高演示材料制作效率。

豆包大模型

豆包大模型是一款由字节跳动推出的企业级大语言模型服务平台。

蛙蛙写作

一款AI论文写作工具,主要用于超级AI智能写作助手,适合需要提升相关任务效率的用户。

SkildArt
SkildArt Hot

SkildArt是一款AI文本写作工具,一站式 AI 视觉创作平台。

墨刀AI
墨刀AI Hot

一款AI图像与设计工具,主要用于产品经理的专属智能体,适合需要提升相关任务效率的用户。

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

3690

2023.06.21

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

3193

2023.06.29

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2273

2023.06.30

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

5430

2023.07.05

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

5102

2023.07.06

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

3033

2023.07.20

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2545

2023.07.20

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2759

2023.07.25

Buffalo框架数据库开发全教程
Buffalo框架数据库开发全教程

本专题围绕Buffalo框架数据库开发,讲解database.yml多环境配置、soda与fizz迁移生成回滚、模型结构体标签、增删改查与条件查询、一对多与多对多关联、数据校验、回调钩子、事务处理及原生SQL执行能力。

80

2026.09.23

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 182人学习

Git版本控制工具
Git版本控制工具

共8课时 | 1.8万人学习

Redis基础课程
Redis基础课程

共6课时 | 1.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn