open-uri相关内容

Ruby 的“open-uri"和“Net:HTTP"gem 有什么区别?

看起来这两个 gem 执行的任务非常相似.谁能举例说明一种宝石比另一种更有用的地方?我没有我所指的特定代码,我更想知道每个 gem 的一般用例.我知道这是一个简短的问题,我会根据要求填写空白.谢谢. 解决方案 它们看起来执行类似任务的原因是 OpenURI 是 Net::HTTP、Net::HTTPS 和 Net::FTP 的包装器.p> 通常,除非您觉得需要较低级别的接口,否则使用 O ..
发布时间:2022-01-18 18:04:11 其他开发

Nokogiri、open-uri 和 Unicode 字符

我正在使用 Nokogiri 和 open-uri 来获取网页上标题标签的内容,但在处理重音字符时遇到了问题.处理这些问题的最佳方法是什么?这是我正在做的: 需要'open-uri'需要'nokogiri'doc = Nokogiri::HTML(打开(链接))title = doc.at_css("title") 此时,标题是这样的: 抹布\303\271 代替: 抹布 ..
发布时间:2021-12-26 13:48:36 其他开发

如何指定“http请求头"在 OpenURI 中

我正在尝试使用 Ruby 的 OpenURI gem 调用 URL,但是它需要我在其 HTTP 请求标头中传递某些值. 知道怎么做吗? 解决方案 根据 文档,您可以将http标头的散列作为第二个参数传递给open: open("http://www.ruby-lang.org/en/",“用户代理" =>"红宝石/#{RUBY_VERSION}",“来自"=>"foo@bar.in ..
发布时间:2021-07-11 20:31:18 其他开发

从网页解析产生 405 Not Allowed

在提出这些问题之前,我一直在寻找解决方案,但不幸的是,它们都没有产生好的结果.访问此特定 url 时,我收到 OpenURI::HTTPError: 405 Not Allowed: 需要'open-uri'doc = Nokogiri::HTML(open("http://streeteasy.com"))#=>OpenURI::HTTPError: 405 不允许来自/Users/cyrus ..
发布时间:2021-06-08 18:50:51 其他开发

想要将Facebook图像保存到我的Rails应用程序中

我正在使用ominauth在Rails应用程序中注册用户.我还有一个基本的注册选项,也包含电子邮件地址.因此,对于这两个用户,我都必须将上传用户图片保存在我的文件系统中,对于电子邮件用户,我要定期上传文件,但对于FB用户,我希望将其图片保存在我的光盘中,以便我可以使用相同的代码,而在不使用FB图形链接的情况下显示. FB使用图形API发送这种格式的图像 http://graph.face ..

从URL打开大文件时防止超时

我正在编写一个Ruby 1.8.7脚本,该脚本必须从服务器请求非常大的XML文件(1-5MB),这非常慢(1MB需要1min30sec).所请求的文件已写入磁盘. 我将脚本中的超时设置为一些荒谬的秒数,因为我真的想获取文件,而不是花费太长时间继续前进.仍然有很高的秒数,我一直在超时. 这是否有最佳实践? 现在我使用 open(DIR + "" + number + "" ..
发布时间:2020-07-02 03:28:28 其他开发

如何从远程URL的长CSV的前几行中快速获得一个字符串?

我正在做一个作业,我使用Yahoo的股票价格系统从网上检索了几个股票价格.不幸的是,我必须使用的 Yahoo API 返回该文件显然每天包含一个交易行,对于我正在使用的股票,该行至少包含5000行,而对于其中一些股票,则至少包含1万行(不过,我只关心当前的价格,该价格在第二行. 我目前正在这样做: require 'open-uri' def get_ticker_price(stoc ..
发布时间:2020-07-02 03:28:25 其他开发

循环访问多个URL以使用Nokogori解析HTML

我想做的是使用Nokogiri刮擦多个供应商的商品名称和价格.我使用方法参数将CSS选择器(传递给查找名称和价格)传递给了Nokogiri. 关于如何将多个URL传递到"scrape"方法同时传递其他参数(例如:vendor,item_path)的任何指导?还是我要以一种完全错误的方式来解决这个问题? 这是代码: require 'rubygems' # Load Ruby Ge ..
发布时间:2020-07-02 03:28:19 其他开发

open-uri和sax解析大型XML文档

我需要连接到外部XML文件进行下载和处理(超过300MB). 然后遍历XML文档并将元素保存在数据库中. 我已经在使用 Saxerator 的生产服务器上做到这一点没问题,以节省内存.效果很好.现在是我的问题- 我需要使用open-uri(尽管可能有其他解决方案?)来抓取要解析的文件.问题是open-uri必须先解析整个文件,然后再开始解析,这违背了使用SAX解析器保存在内存中的整个目 ..
发布时间:2020-07-02 03:27:11 其他开发

调整Nokogiri连接的超时

当服务器繁忙且我正在一页一页地请求页面时,为什么nokogiri等待几秒钟(3-5),但是当这些请求处于循环中时,nokogiri不会等待并抛出超时消息. 我正在使用超时块包装请求,但nokogiri根本不等待该时间. 有建议的程序吗? # this is a method from the eng class def get_page(url,page_type) begin tim ..
发布时间:2020-07-02 03:27:07 其他开发

在使用open-uri和nokogiri完全加载HTML之前,已读取HTML

我将open-uri和nokogiri与ruby一起使用来进行一些简单的Web爬网. 有一个问题,有时html在完全加载之前会被读取.在这种情况下,除了加载图标和导航栏之外,我无法获取任何其他内容. 告诉open-uri或nokogiri等待页面完全加载的最佳方法是什么? 当前我的脚本如下: require 'nokogiri' require 'open-uri' url = "h ..
发布时间:2020-07-02 03:25:58 其他开发