python - pyspider单步调试通过,但是到Dashboard改了状态run不成功。

查看:112
本文介绍了python - pyspider单步调试通过,但是到Dashboard改了状态run不成功。的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

问 题

pyspider单步调试通过,爬取的结果能写入数据库。但是到Dashboard改了状态run不成功。


就直接finished。里面提示:

但是为什么单步调试又是没问题的呢?

解决方案

看到 on_start 最后那个 +1 了吗,它产生了一条任务,但是可能是因为

  1. 已经抓过了,去重

  2. 已经处于活动状态(包括重试)
    没有抓取

这篇关于python - pyspider单步调试通过,但是到Dashboard改了状态run不成功。的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆