BeautifulSoup是Python中专注解析HTML/XML的库，需配合requests获取网页，推荐用html.parser或lxml解析器；定位用find/find_all或CSS选择器select；提取用.text/.get()；注意乱码、动态渲染及容错处理。
Python爬虫中，BeautifulSoup 是最常用、最友好的 HTML/XML 解析库之一。它不负责发起请求，专注把网页源码“读懂”——提取标题、链接、正文、表格等结构化数据。用好它，关键在理解标签树、掌握选择器写法、处理编码和异常。
安装与基础初始化
先确保已安装： pip install beautifulsoup4（注意不是 beautifulsoup）。同时建议搭配 requests 使用（pip install requests）来获取网页内容。
初始化时需指定解析器，推荐使用内置的 html.parser（无需额外安装），或更健壮的 lxml（需 pip install lxml）：
- soup = BeautifulSoup(html_text, 'html.parser')
- soup = BeautifulSoup(html_text, 'lxml')
若网页含中文却显示乱码，优先检查 response.encoding 是否正确（如设为 'utf-8' 或用 response.apparent_encoding）。
立即学习“Python免费学习笔记（深入）”；
定位元素：find 和 select 是两大核心方法
find() 返回第一个匹配项（单个 Tag 对象），适合找唯一元素，如标题、logo；find_all() 返回所有匹配结果（列表）；select() 支持 CSS 选择器语法，写法更灵活直观，比如 soup.select('div.content a') 表示找 class="content" 的 div 下的所有 a 标签。
- 按标签名：soup.find('h1')、soup.find_all('p')
- 按属性：soup.find('a', href=True)（有 href 属性的 a 标签）
- 按 class：soup.find('div', class_='post-title')（注意 class_ 下划线）
- 按 id：soup.find(id='main')
- CSS 选择器：soup.select('.article h2')、soup.select('a[href^="https"]')（以 https 开头的链接）
提取内容：.text、.get() 和 .attrs 要分清用途
拿到 Tag 对象后，别直接 print(tag) —— 那是整个标签字符串。真正要的是干净文本或属性值：
- tag.text：获取标签内所有文字（自动去空格、换行，但会合并嵌套标签内容）
- tag.get('href')：安全取属性值，属性不存在时返回 None，不会报错
- tag['href']：直接取属性，但属性缺失会抛 KeyError，慎用
- tag.attrs：返回字典形式的所有属性，适合调试或动态处理
例如抓文章发布时间：time_tag = soup.find('span', class_='date'); pub_time = time_tag.text if time_tag else '未知'。
应对常见坑：动态渲染、嵌套结构与容错处理
BeautifulSoup 只解析静态 HTML，对 JavaScript 渲染的内容（如无限滚动、评论区）无能为力，此时需配合 Selenium 或分析 XHR 接口。另外，网页结构常有变化，硬写 soup.find_all('div')[3].find('p').text 极易失效。
- 优先用语义化属性定位（class、id、data-*），少依赖层级索引
- 每次 find/select 后检查是否为 None 或空列表，再取内容
- 对多级嵌套（如 <div><ul><li><a>...</a></li></ul></div>），可链式调用或分步判断
- 用 try/except 包裹关键提取逻辑，或用默认值兜底，避免程序中断
