设计一个有爬行者的新闻网站 [英] Design a news website with a creeper

问题描述

你好

我想创建一个有爬虫的新闻网站，所以爬虫搜索一些网站并返回新消息，我会在我的网站上显示它们。但我不想使用Rss。

所以，我怎么做呢？我使用什么技术？爬虫如何工作？我如何在asp.net中创建一个爬行者。

，服务器不应该一直忙，例如每分钟爬行者搜索并返回结果。

请给我一个解决方案。

谢谢

Hello
I want to create a news website with creeper,so creeper searches some sites and returns new news and i show them in my website.but i dont want to use Rss.
so,how i can do it?what technique i use?how a creeper work?how i can create a creeper in asp.net.
too,the server shouldnt busy all times,for example per minute once creeper searches and returns result.
please get me a solution.
thanks

推荐答案

您不使用RSS的要求不仅仅是您的选择，因为要搜索的网站可能不提供RSS提要:-)。



所以，你只需要使用 Web的技术抓取： http://en.wikipedia.org/wiki/Web_scraping [ ^ ]。



请参阅我过去的答案有更多细节：

如何从其他网站获取数据 [ ^ ]，

从w获取特定数据eb页面 [ ^ ]。



祝你好运。新年快乐！

-SA

You requirement of not using RSS is not just your choice, because the site to be "searched" may not provide RSS feed :-).

So, all you need is to use the techniques of Web scraping: http://en.wikipedia.org/wiki/Web_scraping[^].

Please see my past answers for further detail:
How to get the data from another site[^],
get specific data from web page[^].

Good luck. Happy New Year!

—SA

这篇关于设计一个有爬行者的新闻网站的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！