NodeJS Web Scraping - 表单提交 [英] NodeJS Web Scraping - Form Submittion

问题描述

我正在尝试使用 X-Ray 来执行以下操作，我不熟悉网络刮削，我正在寻找适合我使用的技术.

I'm trying to use X-Ray to do the following, i'm not famliar with web scarping, and i'm looking for a technolegy to fit my use.

浏览到一个页面，在其中分配一个特定的表单，设置一些变量，然后提交.然后获取另一个页面，依此类推...

Browse to a page, allocate a specific form in it, set some vars, and submit it. Then get the other page, and so on...

带有示例和文档的基于 NodeJS 的最佳解决方案是什么?

What's the best NodeJS based solution with examples and documents to get this done?

谢谢.

推荐答案

为网页抓取创建了许多 Node 模块.

There are many Node modules created for web scraping.

其中一些是:

• cheerio
• 渗透
• x 射线
• noodlejs
• yakuza
• ineed

参见 Node.js Scraping Libraries - Moritz Klack 的一个非常好的比较网童博客.

See Node.js Scraping Libraries - a very nice comparison by Moritz Klack on Webkid Blog.

网上有一些关于如何使用它们的不错的文章，主要是关于 Cheerio:

There are some nice articles online on how to use some of them, mostly about Cheerio:

• 使用 Node.js 进行网页抓取 作者:Elliot Bonneville(Smashing Magazine) 关于 Cheerio
• 使用 Node.js 抓取网络 作者:Adnan Kukic(Scotch.io) 关于 Cheerio
• 使用 Node.js 轻松抓取网页 作者 Miguel Grinberg关于 Cheerio
• 使用 Node.js/JavaScript 进行简单的网页抓取 作者:Stephen(网络说明")关于 Cheerio

• Web Scraping With Node.js by Elliot Bonneville (Smashing Magazine) about Cheerio
• Scraping the Web With Node.js by Adnan Kukic (Scotch.io) about Cheerio
• Easy Web Scraping With Node.js by Miguel Grinberg about Cheerio
• Simple web scraping with Node.js / JavaScript by Stephen ('Net Instructions) about Cheerio

值得一提的是，x-ray 模块是由 Cheerio 的作者编写的——参见:X-Ray:Cheerio 作者在 DailyJS 上的爬虫.

It's worth mentioning that the x-ray module was written by the author of Cheerio - see: X-Ray: A Scraper by the Author of Cheerio on DailyJS.

这篇关于NodeJS Web Scraping - 表单提交的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！