Scrapy - Web服务

描述

可以通过 JSON-RPC 控制正在运行的Scrapy网络爬虫.它由JSONRPC_ENABLED设置启用.此服务通过 JSON-RPC 2.0 协议提供对主爬虫对象的访问.访问爬虫对象的端点是 :

http://localhost:6080/crawler

下表包含一些显示Web服务行为的设置 :

Sr.No设置&说明默认值
1

JSONRPC_ENABLED

这是指布尔值,它决定了网络服务及其扩展名是否启用.

True
2

JSONRPC_LOGFILE

这是指文件用于记录对Web服务发出的HTTP请求.如果没有设置,将使用标准的Scrapy日志.

3

JSONRPC_PORT

这是指Web服务的端口范围.如果设置为none,则将动态分配端口.

[6080,7030]
4

JSONRPC_HOST

这是指Web服务应该监听的接口.

'127.0.0.1'