mechanize相关内容

Python:使用urllib或urllib2单击按钮

我想用python单击一个按钮,该表格的信息会由网页自动填充.用于向按钮发送请求的HTML代码是: INPUT type="submit" value="Place a Bid"> 我将如何去做? 是否可以仅使用urllib或urllib2单击按钮?还是我需要使用机械化或斜纹呢? 解决方案 使用表单目标并将任何输入作为发布数据发送,如下所示: ..
发布时间:2020-05-08 01:02:02 Python

在机械化请求之间维护Cookie

我正在尝试使用Ruby版本的Mechanize从我们不提供API的票务管理系统中提取雇主的票证. 问题是,Mechanize似乎没有在如下所示的post调用和get调用之间保留cookie: require 'rubygems' require 'nokogiri' require 'mechanize' @agent = Mechanize.new page = @agent.p ..
发布时间:2020-05-08 01:01:58 其他开发

强制python mechanize/urllib2仅使用A请求?

这是一个相关的问题,但是我不知道如何将答案应用于机械化/urllib2:基本上,给出以下简单代码: #!/usr/bin/python import urllib2 print urllib2.urlopen('http://python.org/').read(100) 这导致wireshark说以下内容: 0.000000 10.102.0.79 -> 8.8.8.8 ..
发布时间:2020-05-08 01:01:56 Python

Python机械化登录网站

我正在尝试使用Python和Mechanize登录网站,但是,在尝试使POST数据按照我的期望进行操作时,我遇到了麻烦. 基本上,我想使用机械化和Python复制此代码: wget --quiet --save-cookies cookiejar --keep-session-cookies --post-data "action=login&login_nick=USERNAME&l ..
发布时间:2020-05-08 01:01:52 Python

Ruby SSL错误-sslv3警报意外消息

我正在尝试使用ruby脚本连接到服务器https://www.xpiron.com/schedule.但是,当我尝试连接时: require 'open-uri' doc = open('https://www.xpiron.com/schedule') 我收到以下错误消息: OpenSSL::SSL::SSLError: SSL_connect returned=1 errno= ..
发布时间:2020-05-08 01:01:49 其他开发

无法使用Ruby Mechanize登录到Amazon

我正在尝试使用Ruby gem Mechanize登录到Amazon.我总是被踢回登录页面,而没有任何错误消息.我想知道这是否是Mechanize的错误,还是Amazon阻止了这种访问.我有下面的代码,您可以不进行测试. @mechanizer = Mechanize.new @mechanizer.user_agent_alias = 'Mac Safari' @page = @mec ..
发布时间:2020-05-08 01:01:47 其他开发

是否可以将更强大的HTML解析器连接到Python机械化?

我正在尝试使用机械化方法在网站上解析和提交表单,但是似乎内置表单解析器无法检测到表单及其元素.我怀疑它在格式不正确的HTML上令人窒息,我想尝试使用更好地设计以处理不良HTML(例如lxml或BeautifulSoup)的解析器对其进行预解析,然后将经过整理,清理的输出馈送到表单解析器.我不仅需要机械化的方式来提交表单,而且还需要维护会话(我在登录会话中正在使用此表单.) 如果确实可行,我不 ..
发布时间:2020-05-08 01:01:45 Python

带有JS支持的Python浏览器模拟器

我想从某个站点获取一些数据.通常,我将mechanize用于此类操作,但是现在该站点使用JS来提供数据. mechanize不支持. 我可以用什么代替? 解决方案 以下是一些选项: 硒( 对于无头自动化,可以将Selenium用于 与 PhantomJS 结合使用 WebKit Spidermonkey 以下是一些代码示例: PyQt4 + WebKit ..
发布时间:2020-05-08 01:01:41 Python

Python的机械化代理支持

我对python机械化的代理支持有疑问.我正在制作一些Web客户端脚本,我想在我的脚本中插入代理支持功能. 例如,如果我有: params = urllib.urlencode({'id':id, 'passwd':pw}) rq = mechanize.Request('http://www.example.com', params) rs = mechanize.urlopen( ..
发布时间:2020-05-08 01:01:39 Python

Python机械化,跟随URL链接,nr参数是什么?

很抱歉不得不问这样的事情,但是python的机械化文档似乎确实很缺乏,我无法弄清楚..他们只举了一个例子,我可以从下面的链接中找到一个例子: response1 = br.follow_link(text_regex=r"cheese\s*shop", nr=1) 但是我不想使用正则表达式,我只想根据其url链接,我该怎么做..还有什么"nr"有时用于跟随链接? 感谢您提供任何信息 ..
发布时间:2020-05-08 01:01:37 Python

为python 3.4安装机械化

我正在尝试检索python 3.4的机械化模块.有人可以指导我正确的方向,或者引导我完成正确安装所需的步骤吗?我当前正在使用Windows 10. 解决方案 不幸的是,机械化仅适用于Python 2.4,Python 2.5,Python 2.6和Python 2.7. 好消息是您可以查看其他项目: RoboBrowser ,此线程中还有更多替代方法: 是否可以在Python中进行机 ..
发布时间:2020-05-08 01:01:33 Python

使用WWW:机械化将文件下载到磁盘,而无需先将其全部加载到内存中

我正在使用Mechanize来方便某些文件的下载.目前,我的脚本使用以下行来实际下载文件... agent.get('http://example.com/foo').save_as 'a_file_name' 但是,这会将整个文件下载到内存中,然后再将其转储到磁盘中.您如何绕过此行为,而直接将其直接下载到磁盘?如果我需要使用WWW:Mechanize以外的其他功能,那我该如何使用WWW ..
发布时间:2020-05-08 01:01:31 其他开发

将目录添加到sys.path/PYTHONPATH

我正在尝试从特定目录导入模块. 问题是,如果我使用sys.path.append(mod_directory)附加路径,然后打开python解释器,则目录mod_directory将添加到列表sys.path的末尾.如果在打开python解释器之前导出PYTHONPATH变量,该目录将添加到列表的开头.在后一种情况下,我可以导入模块,但是在前一种情况下,我不能. 有人可以解释为什么会这 ..
发布时间:2020-05-08 01:01:26 Python