pyspider如何去重复url的？
本文介绍了pyspider如何去重复url的？的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
问 题
我想把多个项目的结果存在一起，希望A项目爬过的站点，在B项目中不要再爬了，可以做到吗？
解决方案
你不能把 A 和 B 写在一个项目里面吗？
怎么定义「爬过的站点」？
这篇关于pyspider如何去重复url的？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
