pyspider - 究竟怎么给phantomjs设置代理?

查看:143
本文介绍了pyspider - 究竟怎么给phantomjs设置代理?的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

问 题

今天在抓一个站点的时候用到phantomjs组件,抓取都很成功,但是有如下提示:

[W 170405 02:04:09 base_handler:334] phantomjs does not support specify proxy from script, use phantomjs args instead

我尝试用配置文件设置了全局代理,提示是没有了,可是测试的结果返回的都是我本地的IP而不是代理的IP。

查文档看到不是很理解,文档里只有Addition args pass to phantomjs command line.这么一句,可是究竟应该怎么用?我是用all启动的,如果用pyspider phantomjs启动,应该如何传入配置?

解决方案

纠结一晚上。。。。在 https://github.com/binux/pysp... 找到答案。

pyspider phantomjs -- --proxy=ip:port

pyspider --phantomjs-proxy 127.0.0.25555 all

这篇关于pyspider - 究竟怎么给phantomjs设置代理?的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆