获取网站的所有链接 [英] get all links of website

问题描述

嗨亲爱的，

i希望从带有map / reduce的网站获取所有链接，例如：

codeproject.com

链接：

http://www.codeproject.com/script/Forums/List.aspx

http://www.codeproject.com/Questions/ask.aspx

....

我怎么做？

它可能吗？

谢谢。

hi dears,
i want get all link from a website with map/reduce, for example:
codeproject.com
links:
http://www.codeproject.com/script/Forums/List.aspx
http://www.codeproject.com/Questions/ask.aspx
....
how i can do it?
it's possible?
thanks.

推荐答案

有两种选择：

1.'抓取'网站 - 这意味着您加载网站的主页并关注该网页上的每个链接加载它们并按照它们上的每个链接等等......

2.如果站点支持 - 非常新的和不支持的 - sitemap-protocol，你可以使用它...... http://www.sitemaps.org/index.html [ ^ ]

这篇关于获取网站的所有链接的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！