wget -r 默认会无差别下载所有超链接资源，包括跨域CDN、第三方JS和广告；-m模式更安全但需配合-D、-np、-R等参数限定范围；-p+k组合适合仅下载HTML及内联静态资源。
wget 能递归下载整个网站，但**默认行为极容易失控**——它会顺着所有超链接爬出去，把别人家的 CDN、第三方 JS、甚至广告平台全拖下来。别直接上 -r。
为什么 wget -r 会下错东西？
递归模式（-r）本质是「解析 HTML 中所有 a、img、script 标签里的 URL 并尝试下载」。问题在于：
- 不区分相对路径和绝对路径，
href="https://cdn.example.com/logo.png"也会被拉取 - 不检查
robots.txt（除非加-m或显式--restrict-file-names=windows配合--user-agent） - 遇到重定向或 302 响应时可能跳到完全无关域名
wget -m 是更安全的镜像起点
-m（mirror）不是单纯开关，它自动启用一组保守参数：-r -N -l inf --no-remove-listing，并尊重 robots.txt。但它仍可能跨域，所以必须配合约束：
- 用
-D example.com限定只下载指定域名（支持逗号分隔多个，如-D example.com,cdn.example.com） - 加
--no-parent（简写-np）禁止向上翻目录，避免爬到根路径外 - 用
-R "cgi-bin/*,*.php,*.asp"排除动态脚本（防止触发服务端逻辑） - 加
--convert-links（简写-k）把下载后的链接转为本地可点击格式
典型命令：wget -m -np -k -D mysite.com -R "*.pdf,*.zip" https://mysite.com/
下载静态资源但不执行 JS/CSS 的真实需求
很多场景其实只要 HTML + 图片 + CSS，不要 JS 执行结果或 API 返回内容。这时：
-
--page-requisites（简写-p）会下载 HTML 引用的所有资源（CSS、图片、字体），但不会递归抓取这些资源里的链接 - 必须搭配
-k，否则本地打开 HTML 时路径仍是远程地址 - 加
--no-host-directories（简写-nd）把所有文件平铺到当前目录，避免生成mysite.com/子目录 - 如果目标站用了 WebP 或 AVIF 图片，而你的系统
wget版本太老（picture 标签里的source，得手动补
示例：wget -p -k -nd https://mysite.com/about.html
最容易被忽略的两个坑
一是 robots.txt 处理：即使加了 -m，如果目标站 robots.txt 把 / 拒绝了，wget 会直接退出——得加 --ignore-robots（不推荐，仅调试用）；二是时间戳同步：-N 依赖服务器返回的 Last-Modified 头，但很多 CDN 或 S3 静态站根本不发这个头，导致每次重跑都重复下载。这种情况下，--timestamping 反而比 -N 更可靠。
