如何结合scrapy和htmlunit用javascript抓取url [英] How to combine scrapy and htmlunit to crawl urls with javascript

问题描述

我正在使用 Scrapy 来抓取页面，但是，我无法使用 javascript 处理页面.人们建议我使用 htmlunit，所以我安装了它，但我根本不知道如何使用它.谁能给我举个例子(scrapy + htmlunit)?非常感谢.

I'm working on Scrapy to crawl pages,however,I can't handle the pages with javascript. People suggest me to use htmlunit, so I got it installed,but I don't know how to use it at all.Dose anyone can give an example(scrapy + htmlunit) for me? Thanks very much.

推荐答案

要使用 javascript 处理页面，您可以使用 Webkit 或 Selenium.

To handle the pages with javascript you can use Webkit or Selenium.

这里有一些来自 snippets.scrapy.org 的片段:

Here some snippets from snippets.scrapy.org:

使用 gtk/webkit/jswebkit 渲染/交互式 javascript

使用 Scrapy 和 Selenium RC 渲染的 Javascript 爬虫

这篇关于如何结合scrapy和htmlunit用javascript抓取url的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！