Scrapy流程可用于使用蜘蛛从网页等来源提取数据. Scrapy使用 Item 类生成输出,其对象用于收集已删除的数据.
你可以使用类定义语法声明项目以及如下所示的字段对象 :
import scrapy class MyProducts(scrapy.Item): productName = Field() productLink = Field() imageURL = Field() price = Field() size = Field()
项目字段用于显示每个字段的元数据.由于对字段对象的值没有限制,因此可访问的元数据键不会获得元数据的任何引用列表.字段对象用于指定所有字段元数据,您可以根据项目中的要求指定任何其他字段键.可以使用Item.fields属性访问字段对象.
有些常用函数可以在您定义时定义使用这些物品.有关详细信息,请单击此链接.
可以通过声明原始项的子类来扩展项.例如 :
class MyProductDetails(Product): original_rate = scrapy.Field(serializer = str) discount_rate = scrapy.Field()
您可以使用现有字段元数据通过添加更多值或更改现有值来扩展字段元数据,如下所示代码 :
class MyProductPackage(Product): name = scrapy.Field(Product.fields['name'], serializer = serializer_demo)
可以使用以下类来指定项目对象,该类提供新的初始化项目来自给定的参数 :
class scrapy.item.Item([arg])
该项提供构造函数的副本,并提供由字段中的项目给出的额外属性.
钍可以使用以下类来指定e字段对象,其中Field类不会发出其他进程或属性 :
class scrapy. item.Field([arg])