如何结合scrapy和htmlunit用javascript抓取网址 [英] How to combine scrapy and htmlunit to crawl urls with javascript

问题描述

我正在使用Scrapy来抓取页面，但是，我无法使用javascript处理这些页面。
人们建议我使用htmlunit，所以我安装了它，但我根本不知道如何使用它。任何人都可以给我一个例子（scrapy + htmlunit）吗？非常感谢。

I'm working on Scrapy to crawl pages,however,I can't handle the pages with javascript. People suggest me to use htmlunit, so I got it installed,but I don't know how to use it at all.Dose anyone can give an example(scrapy + htmlunit) for me? Thanks very much.

推荐答案

要使用javascript处理页面，您可以使用Webkit或Selenium。

To handle the pages with javascript you can use Webkit or Selenium.

这里的一些片段来自 snippets.scrapy.org ：

使用gtk / webkit / jswebkit的Rendered/interactive javascript

使用Scrapy和Selenium RC渲染Javascript爬虫

这篇关于如何结合scrapy和htmlunit用javascript抓取网址的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！