Python 中编写爬虫的方法：安装 requests、BeautifulSoup 和 lxml 库；导入库并创建爬虫；获取网页；解析 HTML；提取数据；处理数据；迭代抓取；处理错误；使用代理和标头。
如何使用 Python 编写爬虫
引言
Python 因其丰富的库和简单易懂的语法而成为构建爬虫的理想选择。下面我们详细介绍如何在 Python 中编写一个爬虫。
步骤 1：安装必要的库
立即学习“Python免费学习笔记（深入）”；
对于基本爬虫，您需要安装以下库：
- requests： 用于发送 HTTP 请求。
- BeautifulSoup： 用于解析 HTML。
- lxml： 加速 BeautifulSoup 解析速度（可选）。
使用 pip 安装这些库：
pip install requests BeautifulSoup4 lxml
步骤 2：创建爬虫
创建一个 Python 文件并导入必要的库：
import requests from bs4 import BeautifulSoup
步骤 3：获取网页
使用 requests 获取要抓取的网页：
url = 'https://example.com' response = requests.get(url)
步骤 4：解析 HTML
使用 BeautifulSoup 解析网页内容：
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
soup = BeautifulSoup(response.text, 'html.parser')
步骤 5：提取数据
使用 find() 和 find_all() 方法从 HTML 中提取所需数据。例如，要获取所有超链接：
links = soup.find_all('a')步骤 6：处理数据
您可以进一步处理提取的数据，例如：
- 过滤特定元素。
- 清除不需要的字符。
- 保存到数据库或文件。
步骤 7：迭代抓取
您可能需要迭代抓取多个页面。您可以使用递归或循环来实现此目的。
步骤 8：处理错误
在抓取过程中可能会遇到错误。使用 try 和 except 来处理这些错误。
步骤 9：使用代理和标头
为了避免被目标网站阻止，可以使用代理和标头。
示例
以下是一个简单的代码示例，显示如何从 Stack Overflow 中抓取问题标题：
import requests
from bs4 import BeautifulSoup
url = 'https://stackoverflow.com/questions'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
questions = soup.find_all('div', {'class': 'question-summary'})
for question in questions:
title = question.find('a', {'class': 'question-hyperlink'}).text
print(title) 
