屏幕抓取使用 javaScript 和框架的网页 [英] Screen scrape a web page that uses javaScript and frames

问题描述

我想从 www.marktplaats.nl 抓取数据.我想在 Excel/Access 中分析抓取的描述、价格、日期和视图.

I want to scrape data from www.marktplaats.nl . I want to analyze the scraped description, price, date and views in Excel/Access.

我尝试用 Ruby(nokogiri、scrapi)抓取数据，但没有任何效果.(在其他网站上它运行良好)主要问题是例如 selectorgadget 和附加萤火虫 (Firefox) 找不到任何可用于抓取页面的 css.在其他站点上，我可以使用 selectorgadget 或 firebug 提取 css，并将其与 nokogiri 或 scrapi 一起使用.由于缺乏经验，很难发现问题，因此寻找解决方案并不容易.

I tried to scrape data with Ruby (nokogiri, scrapi) but nothing worked. (on other sites it worked well) The main problem is that for example selectorgadget and the add-on firebug (Firefox) don’t find any css I can use to scrape the page. On other sites I can extract the css with selectorgadget or firebug and use it with nokogiri or scrapi. Due to lack of experience it is difficult to identify the problem and therefore searching for a solution isn’t easy.

你能告诉我从哪里开始解决这个问题，我可以在哪里找到关于类似抓取过程的更多信息?

Can you tell me where to start solving this problem and where I maybe can find more info about a similar scraping process?

提前致谢！

推荐答案

我使用了 excel 网络查询，效果很好.如果您搜索 mrexcel，您可以在 youtube 上找到很多关于使用 excel 进行抓取的信息.谢谢，梅洛

I used excel web query and it works perfect. You can find a lot about scraping with excel on youtube if you search for mrexcel. Thanks, Mello

这篇关于屏幕抓取使用 javaScript 和框架的网页的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！