使用BeautifulSoup可高效解析HTML/XML网页，结合requests库获取页面后，通过find、find_all和select方法定位标签与属性，提取文本内容，适用于处理不规范结构，需注意异常处理与动态内容限制。
Python爬虫中使用BeautifulSoup主要是为了从HTML或XML网页中提取所需数据。它提供了一种简单、直观的方式来遍历和搜索文档树，非常适合处理不规范的网页结构。结合requests库获取网页内容后，BeautifulSoup能快速定位标签、属性和文本信息。
安装与基本用法
使用前需安装requests和beautifulsoup4库：
pip install requests beautifulsoup4导入库并获取网页内容：
import requestsfrom bs4 import BeautifulSoup
url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
解析网页结构
BeautifulSoup将HTML文档转换为树形结构，每个标签都是一个对象，可通过标签名直接访问或查找。
立即学习“Python免费学习笔记（深入）”；
- soup.title：获取title标签
- soup.p：获取第一个p标签
- soup.find('div', class_='content')：查找第一个匹配的标签
- soup.find_all('a')：获取所有a标签，常用于提取链接
注意：class是Python关键字，因此使用class_代替class作为参数。
通过标签属性和CSS选择器提取数据
支持使用CSS选择器语法进行更灵活的查找：
- soup.find(id='header')：根据id查找元素
- soup.select('.class-name')：返回所有匹配CSS类的元素列表
- soup.select('div > p')：查找div下的直接p子元素
- soup.select('a[href]')：查找包含href属性的a标签
提取标签内的文本内容可用.get_text()方法，例如：tag.get_text().strip() 可去除多余空白。
处理常见问题与注意事项
实际爬取过程中可能遇到编码错误、页面为空或反爬机制。建议添加异常处理：
try:response = requests.get(url, timeout=5)
response.raise_for_status()
soup = BeautifulSoup(response.text, 'html.parser')
except requests.RequestException as e:
print(f"请求失败: {e}")
对于JavaScript动态加载的内容，BeautifulSoup无法直接解析，需配合Selenium或Playwright等工具获取渲染后的页面。
基本上就这些。掌握find、find_all和select方法，再结合标签属性提取文本，就能应对大多数静态网页的解析需求。不复杂但容易忽略细节，比如编码设置和异常处理，写爬虫时要特别注意。
