在scrapy爬虫中，若需将`parse()`中生成的日期变量传递至深层解析函数（如`parse_race()`），不能直接使用局部变量，而应通过spider实例属性（`self.scrapedate`）实现跨回调的数据共享。
Scrapy 的请求-响应流程是异步且基于回调的：每个 yield response.follow(...) 会发起新请求，并在后续由指定的 callback 函数处理其响应。这些回调函数运行在独立的作用域中，无法访问前一个函数内部定义的局部变量（如 scrapedate）。因此，原代码中 parse_race() 直接引用 scrapedate 会导致 NameError。
✅ 正确做法是将动态值作为 Spider 实例属性（instance attribute） 存储，并在后续回调中通过 self 访问。注意：由于多个请求可能并发执行，必须确保每个请求携带其对应的上下文数据。推荐在每次生成请求时显式设置该属性（或更优地，使用 cb_kwargs 传参，见下文进阶方案）。
以下是修复后的核心代码结构（兼容多日期、线程安全）：
import scrapy
from datetime import datetime, timedelta
from dogscraper.items import DogItem
racedate = '2024-01-25'
days = 2
realdate = datetime.strptime(racedate, '%Y-%m-%d').date()
scrape_list = [(realdate - timedelta(days=x)).strftime('%Y-%m-%d') for x in range(days)]
class DogspiderSpider(scrapy.Spider):
name = "dogspider"
allowed_domains = ["www.thedogs.com.au"]
# start_urls 仅用于初始请求；实际多日期由 parse 动态生成
start_urls = ["https://www.thedogs.com.au/racing/" + racedate]
def parse(self, response):
for scrapedate in scrape_list:
next_dateurl = 'https://www.thedogs.com.au/racing/' + scrapedate
# ✅ 方案1：使用 cb_kwargs（推荐！更清晰、线程安全、无需维护状态）
yield response.follow(
next_dateurl,
callback=self.parse_date,
cb_kwargs={'scrapedate': scrapedate} # 将变量注入回调
)
def parse_date(self, response, scrapedate): # 接收 cb_kwargs 参数
nswmeetings = response.css('table.meeting-grid')[0]
nswmeetings = nswmeetings.css('td.meetings-venues__name')
for meeting in nswmeetings:
meeting_url = meeting.css('a::attr(href)').get()
if meeting_url:
nextmeeting = 'https://www.thedogs.com.au' + meeting_url
yield response.follow(
nextmeeting,
callback=self.parse_meeting,
cb_kwargs={'scrapedate': scrapedate} # 向下透传
)
def parse_meeting(self, response, scrapedate):
races = response.css('a.race-box.race-box--result')
for race in races:
race_url = race.css('::attr(href)').get() # 修正：race 已是 a 标签，无需再写 a.
if race_url:
nextrace = 'https://www.thedogs.com.au' + race_url
yield response.follow(
nextrace,
callback=self.parse_race,
cb_kwargs={'scrapedate': scrapedate}
)
def parse_race(self, response, scrapedate): # 直接接收 scrapedate
dogs = response.css('tr.accordion__anchor.race-runner')
for dog in dogs:
dog_item = DogItem()
dog_item['date'] = scrapedate # ✅ 安全赋值
# ... 其他字段提取逻辑（如 name, time, position 等）
yield dog_item? 关键说明：
- cb_kwargs 是 Scrapy 2.0+ 推荐的跨回调传参方式，它将字典参数绑定到单个请求，避免了 self.xxx 属性在并发请求中被覆盖的风险（例如：A 请求设 self.scrapedate='2024-01-25'，B 请求设为 '2024-01-24'，若 B 先完成回调，A 的 parse_race 可能误用 B 的日期）。
- 所有回调函数签名需同步添加 scrapedate 参数（如 def parse_date(self, response, scrapedate):），Scrapy 会自动注入。
- 建议对 css().get() 结果做非空校验（如 if meeting_url:），防止因页面结构变化导致 None 串联异常。
? 总结：
永远不要依赖局部变量跨越 Scrapy 回调函数；优先使用 cb_kwargs 传递轻量上下文（如日期、ID、分类等）；若需共享复杂状态（如计数器、缓存），再考虑 self 属性并加锁（极少数场景）。此模式保障了代码的可读性、可维护性与并发安全性。
