直接用BeautifulSoup提取新闻网站正文和图片可行，但需搭配requests获取HTML，并避开反爬与结构陷阱：动态内容需检查JS加载逻辑，class名易变应优先用组合CSS选择器定位；图片常藏于data-src等属性而非src，文本提取推荐get_text(strip=True, separator=' ')避免空行乱码。
直接用 BeautifulSoup 提取新闻网站的文本和图片是可行的，但必须搭配 requests 先拿到 HTML，且要避开常见反爬和结构陷阱——否则你可能拿到空列表、乱码、或一堆占位图链接。
为什么 soup.find_all('p') 经常抓不到正文？
新闻网站正文往往藏在动态加载的 JS 里，或者用 class 名做了混淆（比如 class="article-content__body" 或随机字符串），也可能被包裹在 <div data-testid="article-body"> 这类属性中。单纯按标签名找 <code>p 或 div 基本失效。
- 先用浏览器开发者工具（F12 → Elements）定位真实内容容器，右键「Copy selector」拿一个可靠的 CSS 选择器
- 避免硬写
soup.find('div', class_='content')—— class 值经常变，优先用soup.select('main article .prose p')这类组合选择器 - 有些站点用注释节点或
<!-- react-root -->占位，BeautifulSoup会跳过它们，但你要确认 HTML 真实下载下来了（print(len(response.text))看长度是否合理）
soup.find('img') 返回的 src 为什么全是占位符？
很多新闻站把真实图片 URL 放在 data-src、data-lazy-src 或 srcset 里，src 字段只填个 /images/placeholder.jpg。直接取 img['src'] 就会错。
- 统一检查常用懒加载属性：
img.get('data-src') or img.get('data-lazy-src') or img.get('src') -
srcset是逗号分隔的多分辨率 URL，用img.get('srcset', '').split(',')[0].strip().split()[0]取第一个清晰 URL - 注意相对路径：如果返回的是
//cdn.example.com/img.jpg或/uploads/2024/01/photo.jpg，需拼上协议或域名前缀
提取文本时，.text 和 .get_text(strip=True) 差在哪？
.text 会保留所有换行和多余空格，而新闻正文常含大量 <br>、<p></p> 和广告 div，导致中间塞满空行；.get_text() 更可控。
立即学习“Python免费学习笔记（深入）”；
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 加
strip=True自动去掉首尾空白 - 加
separator=' '把换行和块级标签间的空隙统一替换成空格，避免“标题\n\n\n正文”变成“标题 正文” - 慎用
string属性——只要标签内有子标签（比如<p>作者：<span>张三</span></p>），string就返回None
图片下载失败的三个隐蔽原因
拿到图片 URL 后用 requests.get(img_url) 下载，失败往往不是代码问题，而是环境或协议细节没处理好。
- HTTP 重定向被忽略：
requests.get(img_url, allow_redirects=True)必须显式开启，否则 302 跳转后返回空响应 - 缺少请求头：
headers={'User-Agent': 'Mozilla/5.0'}是基本门槛，否则服务器直接 403 - HTTPS 证书验证失败（尤其内网或测试环境）：
verify=False可临时绕过，但生产环境应配好证书路径
真正麻烦的从来不是语法，而是每个新闻站都有一套自己的 HTML 套路和反爬小动作。别指望写一个通用函数跑遍全网，每次换目标站，第一件事是打开 DevTools 看真实结构，第二件事是检查 Network 面板里图片资源的真实加载方式——这两步跳过，后面全白搭。
