如何获取vb.net网站上所有网页的列表？ [英] How do I get a list of all webpages on a website in vb.net?

问题描述

如何获取vb.net网站上所有网页的列表？我尝试过很多东西 - 它们会返回一个错误。我丢弃了所有我现在后悔的东西。



请帮忙。



P.S.我不想制作一个xml站点地图。

How do I get a list of all webpages on a website in vb.net? I have tried lots of things - they return one error. I discarded all of them which I now regret.

Please help.

P.S. I do not want to make an xml sitemap.

推荐答案

这取决于网站...

有一个 sitemap协议 [ ^ ]，网站支持它，您可以抓取网站并获取所有网页的信息......

无论如何写作这样的爬虫不是那么简单，所以你最好搜索一些现成的解决方案（也有免费和开源的解决方案，所以不要担心付费： - ））

It depends on the site...
There is a sitemap protocol[^], that is supported by the site it enables you to ''crawl'' the site and get information of all the pages...
In any case writing such a crawler is not that simple, so you better search for some ready-made solution (there are free and open source solutions too, so do not worry about paying for :-))

这篇关于如何获取vb.net网站上所有网页的列表？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！