python - pyspider 定时爬取问题

问题描述

问 题

在写爬虫的时候，发现 在代码中设置了 every 之后，21号爬取了一次之后，今天看 result 没有更新，那个 lastcrawltime 依旧是 21号的。请问是不是我的参数设置的不正确？

解决方案

你贴的这个 task 的图，是什么任务的？

贴的是 detail_page 的任务的

题主给 index_page 设置了小于 cronjob 间隔的时间。然而没有给 detail_page 设置。这样 detail_page 是不会被重新调度的

project 队列状态，最近活动任务是怎样的？

这篇关于python - pyspider 定时爬取问题的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！