python - Scrapy的spider在IDE中方便运行调试

问题描述

问 题

我有很多spider，不能每次调试都手动创建一个debugger吧（scrapy crawl spider_name）

想可以在spider文件中直接右键运行/调试。

解决方案

参考文章：Scrapy爬虫常见问题总结

spider方便运行/调试

在spider文件中，加入cmdline的调用方法

import scrapy.cmdline

#Your Spider Class...

def main():
    scrapy.cmdline.execute(['scrapy', 'crawl', 'your_spider_name'])

if __name__ == '__main__':
    main()

这篇关于python - Scrapy的spider在IDE中方便运行调试的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！