Pyspider 调试时crawl卡住

问题描述

问 题

最近利用pyspider抓取一些生活服务网站的信息，
再pyspdier中生成了大概60多个project。
数据库用的是mysql，
消息队列用的是redis
发现最近新增加project的时候，
在web的调试过程中，经常会卡住，很慢才有反应
需要重启pyspier才能继续调试。
请问有什么解决办法么？

解决方案

新添加 project（点 create project 按钮）其实是个前端操作，没后端什么事。

webui 是单线程的，调试点 run 时会堵塞。解决方法部署多个 webui。

这篇关于Pyspider 调试时crawl卡住的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！