Python爬虫中获取网页标签是提取网页内容的关键步骤。可以使用Beautiful Soup或lxml库获取标签：创建Beautiful Soup对象，传入HTML代码和解析器。调用find()获取第一个匹配标签的标签对象。调用find_all()获取所有匹配标签的标签对象列表。从标签对象中可以获取标签名、内容、属性和子标签等信息。

Python爬虫标签获取

在Python爬虫中，获取网页标签是提取网页内容的关键步骤。标签包含了网页结构和内容信息，通过获取标签，爬虫可以解析网页内容并提取所需信息。

如何获取标签

获取标签可以使用Beautiful Soup或lxml库。这里以Beautiful Soup为例：

from bs4 import BeautifulSoup

html = """
<html>
  <body>
    <h1>标题</h1>
    <p>段落</p><p><span>立即学习</span>“<a href="https://pan.quark.cn/s/00968c3c2c15" style="text-decoration: underline !important; color: blue; font-weight: bolder;" rel="nofollow" target="_blank">Python免费学习笔记（深入）</a>”；</p><div class="aritcle_card flexRow">
                                                        <div class="artcardd flexRow">
                                                                <a class="aritcle_card_img" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac"><img
                                                                                src="https://img.php.cn/upload/skill/001/246/273/6adaf20dbae7c507.jpg" alt="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" ></a>
                                                                <div class="aritcle_card_info flexColumn">
                                                                        <a href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac">macOS UI 自动化技能包 —— 用 Python 控制你的 Mac</a>
                                                                        <p>让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript

系统要求
macOS 14+ (Sonoma)

Python 3.9+

需要开启：辅助功能 + 屏幕录制权限</p>
                                                                </div>
                                                                <a href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a>
                                                        </div>
                                                </div>
  </body>
</html>
"""

soup = BeautifulSoup(html, 'html.parser')  # 创建Beautiful Soup对象

# 获取标签
h1_tag = soup.find('h1')  # 返回第一个匹配h1标签的标签对象
p_tags = soup.find_all('p')  # 返回所有匹配p标签的标签对象列表

使用标签对象

获取标签对象后，可以进一步获取标签的各种信息：

• 标签名：tag.name，返回标签的名称，如'h1'或'p'
• 标签内容：tag.string，返回标签包含的文本内容，如'标题'或'段落'
• 标签属性：tag.attrs，返回标签的属性字典，如{'id': 'header'}
• 子标签：tag.children，返回标签的子标签对象生成器，如<h1></h1>下的<p></p>

示例

# 获取h1标签的文本内容
title_text = h1_tag.string

# 获取p标签的第一个属性的值
p_attribute = p_tags[0].attrs['class']

注意

• 获取标签时，可以根据标签名、属性、内容或其他条件进行筛选。
• 标签对象是可迭代的，可以使用循环遍历标签结构。
• 不同解析器可能返回不同的标签对象类型，但提供的方法和属性基本相同。