使用Node.js实时抓取网页 [英] Scrape web pages in real time with Node.js

问题描述

使用Node.js刮取网站内容有什么好处。我想建立一个非常非常快的东西，可以按照 kayak.com 的方式执行搜索，其中一个查询被分派到几个不同的站点，结果被删除，并在它们可用时返回给客户端。

What's a good was to scrape website content using Node.js. I'd like to build something very, very fast that can execute searches in the style of kayak.com, where one query is dispatched to several different sites, the results scraped, and returned to the client as they become available.

我们假设这个脚本应该只提供JSON格式的结果，我们可以直接在浏览器或其他网络应用程序中处理它们。

Let's assume that this script should just provide the results in JSON format, and we can process them either directly in the browser or in another web application.

一些起点：

使用node.js和jquery刮网站

有人有什么想法吗？

推荐答案

Node.io 似乎拿走了蛋糕： - ）

Node.io seems to take the cake :-)

这篇关于使用Node.js实时抓取网页的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！