要使用 Python 爬虫获取标签，可借助 BeautifulSoup 库：导入 BeautifulSoup获取 HTML 文档创建 BeautifulSoup 对象根据标签名称或属性查找标签提取标签内容（文本、HTML、属性）

如何使用 Python 爬虫获取标签

在 Python 爬虫中获取标签非常方便。这可以通过使用 BeautifulSoup 库来轻松实现，该库是一个用于从 HTML 和 XML 文档中解析数据的库。

步骤：

1. 导入 BeautifulSoup：

   立即学习“Python免费学习笔记（深入）”；

   from bs4 import BeautifulSoup

2. 获取 HTML 文档：

   • 使用 requests 库获取 HTML 文档：

     import requests
     response = requests.get('https://example.com')

   • 使用内置的 open() 函数从本地文件获取 HTML 文档：

     with open('example.html', 'r') as f:
       html_doc = f.read()

3. 创建 BeautifulSoup 对象：

   • 使用 BeautifulSoup 构造函数创建 BeautifulSoup 对象：

     

     Python Hardener

     通过完整的安全审查、代码整洁重构、健壮的错误处理、正确的日志记录以及完整的文档字符串覆盖，强化 Python 脚本。

     下载

     soup = BeautifulSoup(html_doc, 'html.parser')

4. 查找标签：

   • 使用 find() 或 find_all() 方法查找标签。find() 返回第一个匹配标签，而 find_all() 返回所有匹配标签。

   • 根据标签名称查找，例如：

     tags = soup.find_all('a')

   • 根据属性查找，例如：

     tags = soup.find_all('a', {'href': 'https://example.com'})

提取标签内容：

一旦找到标签，就可以通过以下方式提取标签内容：

• 获取文本内容：

  text = tag.text

• 获取 HTML 内容：

  html = tag.prettify()

• 获取属性：

  attribute = tag.get('href')

示例：

from bs4 import BeautifulSoup
import requests

response = requests.get('https://example.com')
soup = BeautifulSoup(response.text, 'html.parser')

tags = soup.find_all('a')
for tag in tags:
    print(tag.text, tag.get('href'))