可以使用 Python 进行网络爬虫，方法如下：安装必要的库：requests 和 BeautifulSoup建立请求会话处理 HTTP 请求发送 HTTP 请求获取响应解析响应中的 HTML使用 BeautifulSoup 提取所需数据循环遍历页面并提取数据（如果是多个页面）将提取的数据存储到本地文件或数据库

Python 网络爬虫：入门指南

Python 是网络爬虫开发的流行语言，因为它易于使用、功能强大且用途广泛。让我们来看看如何使用 Python 进行网络爬虫。

第一步：安装必要的库

首先，你需要安装 requests 和 BeautifulSoup 等 Python 库：

立即学习“Python免费学习笔记（深入）”；

pip install requests
pip install bs4

第二步：建立请求会话

接下来，创建一个请求会话来处理 HTTP 请求：

import requests

session = requests.Session()

第三步：发送 HTTP 请求

使用 requests 库发送 HTTP 请求并获取响应：

response = session.get("https://example.com")

第四步：解析 HTML

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

使用 BeautifulSoup 库解析响应中的 HTML：

from bs4 import BeautifulSoup

html_doc = BeautifulSoup(response.content, "html.parser")

第五步：提取数据

使用 BeautifulSoup 的 find()、find_all() 和 select() 方法提取所需数据：

# 提取标题
title = html_doc.find("title")
# 提取所有链接
links = html_doc.find_all("a")

第六步：循环遍历页面并提取数据

如果你需要从多个页面提取数据，可以使用循环遍历页面并应用相同的数据提取步骤：

for url in urls:
    response = session.get(url)
    html_doc = BeautifulSoup(response.content, "html.parser")
    title = html_doc.find("title")
    links = html_doc.find_all("a")

第七步：存储数据

最后，将提取的数据存储到本地文件或数据库中：

with open("titles.txt", "w") as f:
    for title in titles:
        f.write(title.text + "\n")

示例代码

以下是一个完整的示例代码，演示如何使用 Python 抓取某个网站上的所有链接：

import requests
from bs4 import BeautifulSoup

session = requests.Session()
response = session.get("https://example.com")
html_doc = BeautifulSoup(response.content, "html.parser")
links = html_doc.find_all("a")

for link in links:
    print(link.attrs["href"])