Scrapy - 定义一个项目

描述

项目是用于收集从网站报废的数据的容器.您必须通过定义项目来启动蜘蛛.要定义项目,请编辑目录 first_scrapy (自定义目录)下的 items.py 文件. items.py 看起来像以下 :

import scrapy  

class First_scrapyItem(scrapy.Item): 
   # define the fields for your item here like: 
      # name = scrapy.Field()

MyItem 类继承自 Item ,其中包含Scrapy已经为我们构建的许多预定义对象.例如,如果要从站点中提取名称,URL和描述,则需要为这三个属性中的每一个定义字段.

因此,让我们添加要收集的项目:

from scrapy.item import Item, Field  

class First_scrapyItem(scrapy.Item): 
   name = scrapy.Field() 
   url = scrapy.Field() 
   desc = scrapy.Field()