爬虫频率设置：使用 requests 库时，设置 requests.get() 的 timeout 参数；使用 urllib 库时，设置 urllib.request.urlopen() 的 timeout 参数；使用 scrapy 库时，配置 settings.py 中的 DOWNLOAD_DELAY 参数；使用 time 库时，利用 sleep() 函数控制频率。最佳实践包括：尊重 robots.txt，使用分布式爬虫，使用代理，渐进式增加频率。

Python 爬虫频率设置

Python 爬虫在爬取网站时，需要遵守爬取频率，以避免对目标网站造成过大的负担。

设置爬取频率的方法

1. requests 库

立即学习“Python免费学习笔记（深入）”；

使用 requests 库设置爬取频率时，可以直接设置 requests.get() 函数的 timeout 参数，单位为秒。例如：

import requests

# 设置爬取频率为 5 秒
timeout = 5
response = requests.get("https://www.example.com", timeout=timeout)

2. urllib 库

macOS UI 自动化技能包 —— 用 Python 控制你的 Mac

让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限

下载

使用 urllib 库设置爬取频率时，可以通过 urllib.request.urlopen() 函数的 timeout 参数进行设置，单位为秒。例如：

import urllib.request

# 设置爬取频率为 5 秒
timeout = 5
response = urllib.request.urlopen("https://www.example.com", timeout=timeout)

3. scrapy 库

使用 scrapy 库设置爬取频率时，可以在 settings.py 文件中配置 DOWNLOAD_DELAY 参数，单位为秒。例如：

# settings.py
DOWNLOAD_DELAY = 5

4. time 库

在爬虫程序中，可以使用 time 库的 sleep() 函数来控制爬取频率，单位为秒。例如：

import time

# 设置爬取频率为 5 秒
time.sleep(5)

最佳实践

• 尊重目标网站的 robots.txt 文件：在开始爬虫之前，请务必检查目标网站的 robots.txt 文件，以确保您遵守爬取频率的限制。
• 使用分布式爬虫：如果需要爬取大量数据，可以考虑使用分布式爬虫，将任务分配给多个进程或机器，从而加快爬取速度，同时遵守爬取频率。
• 使用代理：使用代理可以帮助隐藏爬取程序的真实 IP 地址，避免被网站检测到并封禁。
• 渐进式增加频率：根据网站的响应能力，可以逐渐增加爬取频率，避免对网站造成过大的负担。