pyspider 效率 受 taskdb 影响?

问题描述

问 题

pyspider 出现任务启动慢,有 pending 却没有下载的情况,还有的情况是 出现 process_timeout 的 exception, 换台机器同样的代码不会出现相同的问题.我检查了一下目录,发现 taskdb 已经 800M+, 会不会是这个导致上述问题出现?

解决方案

processor 是不会读取 taskdb 的。
看一下 dashboard 最上方的的队列统计，看看哪个组件有瓶颈，增加对应组件部署量。

这篇关于pyspider 效率 受 taskdb 影响?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！