Scrapy 是一款流行的网络爬虫框架，用于提取网站数据。入门步骤包括：安装 Scrapy创建 Scrapy 项目编写一个从网站提取数据的爬虫类运行爬虫以下视频教程提供了详细指导：Scrapy 入门使用 Scrapy 爬取和解析网页Scrapy 实战教程

Scrapy 网络爬虫视频教程

简介

Scrapy 是一款流行的网络爬虫框架，用于从网站提取数据。本文将提供一个入门指南，通过视频教程帮助您学习 Scrapy。

入门

首先，在电脑上安装 Scrapy：

pip install scrapy

创建项目

创建一个 Scrapy 项目：

scrapy startproject myproject

编写爬虫

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

创建一个爬虫类，从网站提取数据：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['https://example.com']

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.css('span.author::text').get(),
            }

运行爬虫

使用以下命令运行爬虫：

scrapy crawl myproject.myspider -o quotes.csv

这将从网站提取名言并将其保存到名为 quotes.csv 的文件中。

视频教程

以下视频教程可指导您完成 Scrapy 的基本概念和功能：

• [Scrapy 入门](https://www.youtube.com/watch?v=c6jJqNkqV2A)
• [使用 Scrapy 爬取和解析网页](https://www.coursera.org/learn/scrapy)
• [Scrapy 实战教程](https://realpython.com/intro-to-scrapy-web-scraping/)

其他资源

• [Scrapy 官方文档](https://docs.scrapy.org/)
• [Scrapy 论坛](https://scrapy.org/community/)
• [Scrapy Cookbook](https://scrapy.readthedocs.io/en/latest/cookbook/)