scrapy 如何制作我自己的调度程序中间件 [英] scrapy how to make my own scheduler middelware

查看:41
本文介绍了scrapy 如何制作我自己的调度程序中间件的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我使用 Python 2.7 和 Scrapy 0.20

I am using Python 2.7 with Scrapy 0.20

如何构建我自己的调度程序?

How to build my own scheduler ?

我通过互联网阅读并发现了这个:

I read through internet and I found this:

  1. 我必须创建自己的 python 类并使用 SCHEDULER_MIDDLEWARES 在设置中分配它
  2. 创建那个类,它可能继承自scrapy.core.scheduler

但我在互联网上找不到任何示例,也找不到任何官方文档

But I couldn't find any example on internet nor any official documentation

推荐答案

您可以设置 SCHEDULER 设置:

You can set the SCHEDULER setting:

SCHEDULER = 'myproject.schedulers.MyScheduler'

并从 scheduler.py 复制代码.

这篇关于scrapy 如何制作我自己的调度程序中间件的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆