使用 Scrapy 解析站点地图 [英] Using Scrapy to parse sitemaps
本文介绍了使用 Scrapy 解析站点地图的处理方法，对大家解决问题具有一定的参考价值，需要的朋友们下面随着小编来一起学习吧！
问题描述
我希望能够使用scrapy 来抓取站点地图上的链接.我对这个应用程序了解不多，所以我会对你可以提供的任何链接/信息/文档感兴趣.
I want to be able to use scrapy to crawl links on a sitemap. I don't know much about this application, so I would be interested in any links/info/documentation you could provide.
谢谢
推荐答案
为此目的，Scrapy 主干中刚刚添加了一个新的通用蜘蛛.它将在下一个版本(Scrapy 0.14)中可用
A new generic spider has just been added to Scrapy trunk, for this purpose. It will be available on next release (Scrapy 0.14)
- 代码在这里:http://snippets.scrapy.org/snippets/20/
- 此处的文档:http://readthedocs.org/docs/scrapy/en/latest/topics/spiders.html#sitemapspider
这篇关于使用 Scrapy 解析站点地图的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！
查看全文
