Scrapy - 项目管道

描述

项目管道是处理报废项目的方法.当一个项目被发送到项目管道时，它被一个蜘蛛抓取并使用几个组件进行处理，这些组件按顺序执行.

每当收到一个项目时，它就决定以下任何一个动作 : 去;

• 继续处理该项目.

• 将其从管道中删除.

• 停止处理该项目.

项目管道通常用于以下目的 :

• 在数据库中存储已删除的项目.

• 如果重复收到的项目，则会删除重复的项目.

• 它将检查该项目是否包含目标字段.

• 清除HTML数据.

语法

您可以使用以下方法编写项目管道 :

 
 process_item (self，item，spider)

上述方法包含以下参数 :

• 项目(项目对象或字典) : 它指定了被删除的项目.

• spider(蜘蛛对象) : 刮掉物品的蜘蛛.

您可以使用下表中给出的其他方法 :

Sr.No	Method&说明	参数
1	open_spider( self，spider ) 它是在蜘蛛打开时选择的.	蜘蛛(蜘蛛对象) : 它指的是被打开的蜘蛛.
2	close_spider( self，spider ) 蜘蛛关闭时选择它.	蜘蛛(蜘蛛对象) : 它指的是被关闭的蜘蛛.
3	from_crawler( cls，crawler ) 在抓取工具的帮助下，管道可以访问核心组件，如Scrapy的信号和设置.	crawler(Crawler object) : 它指的是使用此管道的爬虫.

示例

以下是不同概念中使用的项目管道的示例.

删除无标记的项目

在以下代码中，管道余额那些不包含VAT (excludes_vat属性)的商品的(价格)属性，并忽略那些没有价格标签 : 去的商品;

from Scrapy.exceptions import DropItem  
class PricePipeline(object): 
   vat = 2.25 

   def process_item(self, item, spider): 
      if item['price']: 
         if item['excludes_vat']: 
            item['price'] = item['price'] * self.vat 
            return item 
         else: 
            raise DropItem("Missing price in %s" % item)

写作项目到JSON文件

以下代码将存储所有已抓取的项目从所有蜘蛛到一个 items.jl 文件，其中每行包含一个项目，采用JSON格式的序列化形式. JsonWriterPipeline 类在代码中用于显示如何编写项目管道 :

import json  

class JsonWriterPipeline(object): 
   def __init__(self): 
      self.file = open('items.jl', 'wb') 

   def process_item(self, item, spider): 
      line = json.dumps(dict(item)) + "\n" 
      self.file.write(line) 
      return item

将项目写入MongoDB

您可以在Scrapy设置中指定MongoDB地址和数据库名称，并且MongoDB集合可以命名项目类.以下代码描述了如何使用 from_crawler()方法正确收集资源并减去;

import pymongo  

class MongoPipeline(object):  
   collection_name = 'Scrapy_list' 

   def __init__(self, mongo_uri, mongo_db): 
      self.mongo_uri = mongo_uri 
      self.mongo_db = mongo_db 

   @classmethod 
   def from_crawler(cls, crawler): 
      return cls( 
         mongo_uri = crawler.settings.get('MONGO_URI'), 
         mongo_db = crawler.settings.get('MONGO_DB', 'lists') 
      ) 
  
   def open_spider(self, spider): 
      self.client = pymongo.MongoClient(self.mongo_uri) 
      self.db = self.client[self.mongo_db] 

   def close_spider(self, spider): 
      self.client.close() 

   def process_item(self, item, spider): 
      self.db[self.collection_name].insert(dict(item)) 
      return item

复制过滤器

过滤器将检查重复的项目，它将丢弃已处理的物品.在下面的代码中，我们为项目使用了唯一的id，但是spider返回了许多具有相同id和minus的项目;

from scrapy.exceptions import DropItem  

class DuplicatesPipeline(object):  
   def __init__(self): 
      self.ids_seen = set() 

   def process_item(self, item, spider): 
      if item['id'] in self.ids_seen: 
         raise DropItem("Repeated items found: %s" % item) 
      else: 
         self.ids_seen.add(item['id']) 
         return item

激活项目管道

您可以通过将其类添加到 ITEM_PIPELINES 设置来激活项目管道组件，如以下代码所示.您可以按照运行顺序为类分配整数值(顺序可以降低到较高值的值)，值可以在0-1000范围内.

ITEM_PIPELINES = {
   'myproject.pipelines.PricePipeline': 100,
   'myproject.pipelines.JsonWriterPipeline': 600,
}