Python 爬虫入门：通过安装 requests 和 BeautifulSoup 库，发送 HTTP 请求获取网页内容，利用 BeautifulSoup 解析 HTML 文档，提取所需数据（如标题、链接），并可根据需要进行数据处理。
Python 爬虫：如何抓取网页
对于初学者来说，使用 Python 爬虫抓取网页是入门的一个很好的方式。本指南将一步一步地指导您完成这个过程，涵盖从安装必要的库到解析 HTML 文档的所有内容。
步骤 1：安装必要的库
首先，您需要在 Python 环境中安装以下库：
立即学习“Python免费学习笔记（深入）”；
- requests（用于发送 HTTP 请求）
- BeautifulSoup（用于解析 HTML）
您可以使用 pip 命令来安装这些库：
<code class="python">pip install requests pip install beautifulsoup4</code>
步骤 2：发送 HTTP 请求
使用 requests 库，您可以发送 HTTP 请求以获取网页内容。例如，要获取 example.com 的主页，您可以使用以下代码：
<code class="python">import requests url = "https://example.com" response = requests.get(url)</code>
如果请求成功，response 对象将包含网页的 HTML 内容。
步骤 3：解析 HTML 文档
接下来，您需要使用 BeautifulSoup 库来解析 HTML 文档。BeautifulSoup 可以将 HTML 标记转换为易于遍历和提取数据的对象。
<code class="python">from bs4 import BeautifulSoup soup = BeautifulSoup(response.content, "html.parser")</code>
现在，您可以使用 BeautifulSoup 方法来查找和提取所需的数据。例如，要获取网页标题，您可以使用以下代码：
<code class="python">title = soup.find("title").text</code>步骤 4：提取数据
一旦您解析了 HTML 文档，就可以使用 BeautifulSoup 方法提取所需的数据。例如，要提取网页上所有链接的 URL，您可以使用以下代码：
<code class="python">links = [link["href"] for link in soup.find_all("a")]</code>步骤 5：处理数据
最后，您可以处理提取的数据，例如存储在文件或数据库中、进行进一步分析等。
示例代码：
以下是一个完整的示例代码，演示了如何使用 Python 爬虫抓取网页并提取标题和链接：
<code class="python">import requests
from bs4 import BeautifulSoup
url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.content, "html.parser")
title = soup.find("title").text
links = [link["href"] for link in soup.find_all("a")]
print(title)
print(links)</code> 
