标签选取是 HTML 数据爬取的关键，在 Python 中可使用 BeautifulSoup 库实现。使用 BeautifulSoup 选取标签分三步：初始化 BeautifulSoup 对象、使用 CSS 选择器、获取标签信息。该库还提供 find()、select_one()、get_text() 等其他标签选取方法。
使用 Python 编写爬虫：标签选取
标签选取是爬取网页数据中的关键技术。在 Python 中，使用 BeautifulSoup 库可以轻松地选取各种标签。
如何使用 BeautifulSoup 选取标签？
使用 BeautifulSoup 选取标签涉及以下步骤：
立即学习“Python免费学习笔记（深入）”；
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 初始化 BeautifulSoup 对象：从 HTML 文档或 URL 创建一个 BeautifulSoup 对象。
- 使用 CSS 选择器：利用特定的 CSS 选择器从文档中选取标签。
- 获取标签信息：访问标签的属性，例如文本内容、属性值和子标签。
举例说明
以下示例说明如何使用 BeautifulSoup 从网页中获取所有 <h1></h1> 标签的文本内容：
from bs4 import BeautifulSoup
# 初始化 BeautifulSoup 对象
soup = BeautifulSoup("<html><h1>Heading 1</h1></html>", "html.parser")
# 使用 CSS 选择器选取标签
headings = soup.select("h1")
# 获取标签文本内容
for heading in headings:
print(heading.text)其他标签选取方法
除了 CSS 选择器之外，BeautifulSoup 还提供以下标签选取方法：
-
find()和find_all(): 根据标签名称、属性或文本内容查找标签。 -
select_one()和select(): 根据 CSS 选择器选取单个标签或多个标签。 -
get_text(): 递归获取标签及其子标签的文本内容。
提示
- 使用正确的 CSS 选择器以确保准确的标签选取。
- 考虑使用 BeautifulSoup 文档来了解更高级的选取方法。
- 养成良好的爬取习惯，避免滥用爬虫并遵守网站的条款和条件。
