mechanize-ruby相关内容

如何在Ruby中使用机械化执行Head请求

我可以使用Faraday(Faraday.head网址)执行HEAD请求,但是我正在当前项目中使用Mechanize. 我想从标题(文件名)中获取一个值而不下载文件.机械化宝石是否提供了这样的选择?我正在使用v2.0. 解决方案 就像get一样,但它是head: page = agent.head 'http://www.google.com/' page.body.lengt ..
发布时间:2020-06-30 19:53:37 其他开发

Ruby Mechanize:点击链接

在Ruby上的Mechanize中,我必须为进入的每个新页面分配一个新变量.例如: page2 = page1.link_with(:text => "Continue").click page3 = page2.link_with(:text => "About").click ...etc 有没有一种方法可以在没有变量保存每个页面状态的情况下运行Mechanize?喜欢 ..
发布时间:2020-06-30 19:52:31 其他开发

使用www :: mechanize时Iconv :: IllegalSequence

我正在尝试进行一些爬网,但是WWW:Mechanize gem似乎不喜欢编码和崩溃. 发布请求会导致302重定向(随后会进行机械化,到目前为止效果很好),结果页面似乎将其崩溃. 我用谷歌搜索了很多,但是到目前为止,如何解决这个问题都没有.你们有个主意吗? 代码: require 'rubygems' require 'mechanize' agent = WWW::Mechaniz ..
发布时间:2020-06-30 19:52:29 其他开发

搜寻似乎没有网址的网页

我正尝试在属于我的客户的网站上抓取这些职位清单,并为这些职位清单提供更多的曝光机会.问题是我需要能够链接到特定的工作清单,以便求职者申请. 这是页面,我正尝试保存列表链接. 如果我可以保存一个地址供求职者单击以查看原始列表然后申请,那将是理想的. 该网站在不显示这些页面的URL的情况下做什么 是否可以提供商家信息特定的地址 如果可能的话,我该如何生成该地址? 如果我找不到特定 ..

机械化获取"Errno :: ECONNRESET:由对等方重置连接-SSL_connect"

我无法使Mechanize加载以前可以正常工作的页面-可靠地失败,并显示Errno: ECONNRESET: Connection reset by peer - SSL_connect消息.关于我应该尝试什么或应该关注的细节有什么建议吗? (请参阅下面的“我尝试过的方法" ...) 更新1 从相关的S.O中获得提示.帖子,我尝试使用Net::HTTP直接访问该网站.设置http.ss ..
发布时间:2020-05-21 02:40:56 其他开发

机械化getaddrinfo错误

我编写了一个脚本,该脚本将遍历数据库中的所有客户,验证其网站URL是否有效,并尝试在其主页上找到一个Twitter链接.我们有超过10,000个网址可供验证.在验证了一部分网址之后,我们开始为每个网址获取getaddrinfo错误. 以下是刮取单个URL的代码的副本: def scrape_url(url) url_found = false twitter_name = ..
发布时间:2020-05-08 01:02:40 其他开发