pyspider 中 failed 的任务怎么retry

问题描述

问 题

一开始的任务没有设置retry_delay,过了一夜看到大约有几十个task failed,如果我想重试这些failed的task,该怎么操作？

解决方案

一般来说，一个任务失败了三次，就会显示failed。这个时候在数据表里面的status是3。
status这个字段具体含义如下：
1： 任务失败，需要重新执行的
2： 任务执行成功的
3： 任务失败，并且已经达到最大重试次数的。
所以，可以在爬虫脚本里面手动的从数据库里面把status=3的任务的Url提取出来再去爬取

这篇关于pyspider 中 failed 的任务怎么retry的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！