pyspider为什么每爬完一个url就更新整个项目

问题描述

问 题

如下图

每爬完一个任务，整个爬虫项目都会更新，而且在tasks界面，还出现 on_finished 的状态。如下图：

请问有知道是怎么回事的吗。

在链接的age设置为12小时，on_start那里age=24小时

代码如下：

解决方案

类似这种边运行边新增任务的就是这样，很正常。抓完一项任务，对它进行处理的时候，下一项任务还没有生成，队列里没有任务需要抓取，就触发了on_finished。文档里写的很明确：
the method would be triggered when the task_queue goes to 0.

这篇关于pyspider为什么每爬完一个url就更新整个项目的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！