如何使用C＃创建Web爬网程序？ [英] How Do I Make A Web Crawler Using C#?

问题描述

我必须制作一个网络爬虫，它搜索网站并从网站获取信息，然后它应该将数据存储在noSQL数据库中？任何想法请

i have to make a web crawler, it searches a website and get information from a website and then it should store the data in a noSQL database ? Any ideas please

推荐答案

请参阅 Abot [ ^ ]开源，可配置的网络抓取工具用C＃编写。



/ ravi

See Abot[^] the open source, configurable web crawler written in C#.

/ravi

Google搜索！ [ ^ ]。

您可以使用WebClient类通过代码访问网站。



http://msdn.microsoft.com/en-us/library/system.net.webclient(v = vs.110）.aspx [ ^ ]

You can use the WebClient class to access websites via code.

http://msdn.microsoft.com/en-us/library/system.net.webclient(v=vs.110).aspx[^]

这篇关于如何使用C＃创建Web爬网程序？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！