python - scrapy 再次请求的问题

问题描述

问 题

如：item['url']=response.xpath('a/@href')分析出一个链接，
然后想从这个链接里的网页再获取一些元素，放入item['other']。
应该怎么写，谢谢。

解决方案

def parse_page1(self, response):
    for url in urls:
        item = MyItem()
        item['url'] = url
        request = scrapy.Request(url,callback=self.parse_page2)
        # request = scrapy.Request("http://www.example.com/some_page.html",dont_filter=True，callback=self.parse_page2)
        request.meta['item'] = item
        yield request

def parse_page2(self, response):
    item = response.meta['item']
    item['other'] = response.xpath('/other')
    yield item

最后附上官方文档https://doc.scrapy.org/en/lat...
中文翻译版http://scrapy-chs.readthedocs...

这篇关于python - scrapy 再次请求的问题的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！