python - scrapy 再次请求的问题-PHP Chinese Network Q&A

Article Topic Learning Download Q&A Programming Dictionary Game Recent Updates

简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW)

python - scrapy 再次请求的问题

天蓬老师 2017-04-18 10:28:58

647

如：item['url']=response.xpath('a/@href')分析出一个链接，
然后想从这个链接里的网页再获取一些元素，放入item['other']。
应该怎么写，谢谢。

天蓬老师

欢迎选择我的课程，让我们一起见证您的进步~~

reply all(1)

洪涛2017-04-18 10:30:58 1 floor

def parse_page1(self, response):
    for url in urls:
        item = MyItem()
        item['url'] = url
        request = scrapy.Request(url,callback=self.parse_page2)
        # request = scrapy.Request("http://www.example.com/some_page.html",dont_filter=True，callback=self.parse_page2)
        request.meta['item'] = item
        yield request

def parse_page2(self, response):
    item = response.meta['item']
    item['other'] = response.xpath('/other')
    yield item

最后附上官方文档https://doc.scrapy.org/en/lat...
中文翻译版http://scrapy-chs.readthedocs...