Scrapy是一个Python爬虫框架，适用于从网站抓取数据。通过安装并创建项目，你可以定义爬虫，指定其名称、允许的域和初始URL。Scrapy会解析响应，提取数据，并提供管道和项目等方式来保存数据。你可以通过scrapy crawl命令运行爬虫，并使用可定制的选项来调整其功能，包括下载程序中间件、爬虫中间件和扩展。

Scrapy爬虫框架教程

简介

Scrapy是一个用于从网站抓取数据的流行Python框架。它提供了强大的功能和灵活性，使开发人员可以轻松、高效地构建自定义爬虫。

安装与设置

首先，你需要安装Scrapy：

pip install scrapy

然后，创建一个新的Scrapy项目：

scrapy startproject myproject

这将创建一个名为myproject的目录结构，其中包含必要的Scrapy文件。

定义爬虫

要定义爬虫，你需要创建一个Spider类：

import scrapy

class MySpider(scrapy.Spider):
    name = "myspider"
    allowed_domains = ["example.com"]
    start_urls = ["https://example.com"]

name属性指定爬虫的名称，allowed_domains列表限制了爬虫可以抓取的域，start_urls列表包含要抓取的初始URL。

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

解析响应

当爬虫获取到一个页面时，Scrapy会调用parse方法来解析响应：

def parse(self, response):
    url = response.url
    title = response.css("title::text").get()

response对象包含请求页面的响应数据。你可以使用css方法从HTML中提取数据。

保存抓取的数据

Scrapy提供多种方式来保存抓取的数据，包括：

• 管道：管道是一个Scrapy组件，用于对抓取的数据进行处理和存储。
• 项目：项目是一个提供存储接口的类。你可以使用ItemLoader填充项目，然后将其存储在数据库或其他持久性存储中。

运行爬虫

要运行爬虫，请在命令行中运行以下命令：

scrapy crawl myspider

这将启动爬虫并抓取指定的URL。

自定义爬虫

Scrapy提供了许多可定制的选项，允许你根据你的特定需求调整爬虫的功能。这些选项包括：

• 下载程序中间件：用于在请求和响应处理期间拦截和修改数据的组件。
• 爬虫中间件：用于在爬虫生命周期中拦截和修改数据的组件。
• 扩展：用于添加自定义功能的插件。