lwp相关内容

“得到"不能在 perl 中工作

我是 perl 的新手.在过去的几天里,我制作了一些简单的脚本,通过“get"将网站的源代码保存到我的电脑中.他们做他们应该做的事情,但不会获得论坛网站的内容.非论坛网站工作得很好.知道发生了什么吗?这是问题块: my $url = 'http://www.computerforum.com/';我的 $content = 获取 $url ||die "无法获取内容"; 解决方案 http: ..
发布时间:2022-01-04 23:40:42 其他开发

如何强制 LWP 对 HTTPS 请求使用 Crypt::SSLeay?

我的症状是我无法将代理与 HTTPS 请求与 LWP 一起使用.这似乎是一个常见问题,Google 上的提示甚至 here 所有人都建议设置 HTTPS_PROXY 环境变量以供 Crypt::SSLeay 使用. 我的具体问题似乎是 LWP::Protocol::https 正在加载 IO::Socket::SSL 而不是 Crypt::SSLeay.如何强制使用 Crypt::SSLea ..
发布时间:2021-12-26 19:49:24 其他开发

如何使用 LWP::UserAgent 接受 gzip 压缩的内容?

我正在使用 Perl 的 LWP::UserAgent 通过 Web 获取一些页面,并希望尽可能地礼貌.默认情况下,LWP::UserAgent 不会通过 gzip 无缝处理压缩内容.有没有一种简单的方法可以做到这一点,为每个人节省一些带宽? 解决方案 LWP 内置了此功能,这要归功于 HTTP::Message.不过有点隐蔽. 首先确保你有 Compress::Zlib 安装以便您 ..
发布时间:2021-12-10 18:59:38 其他开发

如何使用 LWP 发出 JSON POST 请求?

如果您尝试在 https://orbit.theplanet.com/Login.aspx 上登录?url=/Default.aspx(使用任何用户名/密码组合),您可以看到登录凭据作为非传统的 POST 数据集发送:只是一个单独的 JSON 字符串,没有正常的键=值对. 具体来说,而不是: username=foo&password=bar 甚至类似: json={"username ..
发布时间:2021-12-10 18:57:53 其他开发

如何让 LWP 验证 SSL 服务器证书?

我如何获得 LWP 来验证我正在连接的服务器的证书是否由受信任的机构签名并颁发给正确的主机?据我所知,它甚至不检查证书是否声称用于我要连接的主机名.这似乎是一个主要的安全漏洞(尤其是最近的 DNS 漏洞). 更新: 原来我真正想要的是 HTTPS_CA_DIR,因为我没有 ca-bundle.crt.但是 HTTPS_CA_DIR=/usr/share/ca-certificates/ 做到 ..
发布时间:2021-12-10 18:40:00 其他开发

如何创建 gzip 压缩的 HTTP::Response?

我需要用压缩数据创建一个 HTTP::Response.如何让内容被压缩?我是否只添加适当的标头并使用 Compress::Zlib 自行压缩?或者是否有任何 LWP 模块提供了处理此问题的方法? 解决方案 这是您需要的吗?您对数据进行 gzip,设置 Content-encoding 标头,然后将其发送出去. 使用严格;使用警告;使用 HTTP::Response;使用 IO::Com ..
发布时间:2021-06-15 20:54:05 其他开发

使用端口(例如 localhost:12345)访问 IPv6 可解析 URL 会导致 Strawberry Perl 5.30.1 中的地址错误

在启用了 IPv6 的 Windows 10 下使用草莓 perl 5.30.1 时,由于 Perl 的 DNS 解析器中似乎存在错误,因此无法正确解析带有端口号的 URL. 在下面的测试中,我们有一个简单的网络服务器监听所有接口的 8810 端口. 端口 12345 不托管任何内容. 以下是我们用于复制的脚本: use strict;使用警告;使用 LWP::UserAgen ..
发布时间:2021-06-15 20:51:55 其他开发

如何在不使用 Perl 和 LWP 获取页面的情况下获取最终 URL?

我正在使用 Perl 的 LWP 进行一些网络抓取.我需要处理一组 URL,其中一些可能会重定向(1 次或多次). 如何使用 HEAD 方法获取解析所有重定向的最终 URL? 解决方案 如果您使用 LWP::UserAgent,则返回的响应是HTTP::Response 又作为一个属性 HTTP::Request.请注意,这不一定与您使用一组 URL 中的原始 URL 创建的 HTT ..
发布时间:2021-06-15 20:49:17 其他开发

如何让 LWP::UserAgent 看起来像另一个浏览器?

这是我在 SO 上的第一篇文章,所以请保持温和.我什至不确定这是否属于这里,但这里是. 我想访问有关我的一个个人帐户的一些信息.该网站写得不好,需要我手动输入我想要信息的日期.这真的是一种痛苦.我一直在寻找学习更多 Perl 的借口,所以我认为这将是一个很好的机会.我的计划是编写一个 Perl 脚本来登录我的帐户并为我查询信息.然而,我很快就卡住了. my $ua = LWP::UserA ..
发布时间:2021-06-15 20:40:23 其他开发

如何解析网页

我正在尝试从 EnviroCanada 天气页面中提取以下内容. 我正在尝试按照以下方式获得每个小时. 时间 |大腿 |吐|湿度 7:00 |23 |22.9 |30 提取的 HTML 页面: 7:00 ..
发布时间:2021-06-15 20:27:33 其他开发

如何使用 LWP 和正则表达式抓取 javascript 函数的日期参数?

我无法从特定网页中抓取日期,因为日期显然是传递给 javascript 函数的参数.我过去写过一些没有任何重大问题的简单刮刀,所以我没想到会出现问题,但我正在为此苦苦挣扎.该页面有 5-6 个日期,采用常规 yyyy/mm/dd 格式,例如 dateFormat('2012/02/07') 理想情况下,我想删除所有除了我想保存在数组中的六个日期.在这一点上,我连一个约会都不能成功,更不用说所 ..
发布时间:2021-06-15 20:25:57 其他开发

如何使用 LWP 获取网页的开头?

有谁知道在 GET 或 POST 请求中只获取 50% 的网页的最佳方法吗?我获取的网页需要 10 到 20 秒才能完全加载,而且我只需要从页面开头过滤几行即可. 解决方案 use 5.010;使用限制;使用 LWP::UserAgent qw();我的 $content;LWP::UserAgent->new->get($网址,':content_cb' =>子{我的 ($chunk, ..
发布时间:2021-06-15 20:18:35 其他开发

如何使用 LWP::Simple 处理代理服务器?

如何为该脚本添加代理支持? 使用 LWP::Simple;$url = "http://stackoverflow.com";$word = "怎么问";$content = 获取 $url;if($content =~ m/$word/){打印“找到 $word";} 解决方案 访问底层 LWP::UserAgent 对象并设置代理.LWP::Simple 导出 $ua 变量,所以你可以这 ..
发布时间:2021-06-15 20:17:27 其他开发

为什么我不能使用 LWP::Simple 获取维基百科页面?

我正在尝试使用 LWP::Simple 获取维基百科页面,但它们不回来了.这段代码: #!/usr/bin/perl使用严格;使用 LWP::Simple;打印获取(“http://en.wikipedia.org/wiki/Stack_overflow"); 不打印任何东西.但如果我使用其他网页,请说 http://www.google.com,它工作正常. 我应该使用其他名称来引用维 ..
发布时间:2021-06-15 20:15:31 其他开发

升级 LWP 后脚本“证书验证失败"

我有很多脚本,其中大部分基于 WWW::Mechanize,从可通过 HTTPs 访问的其他硬件中抓取数据.升级我的大部分 perl 安装及其模块后,所有使用 HTTPS://的脚本都因 “证书验证失败" 而损坏 这是因为较新版本的 LWP 对证书进行了适当的检查,如果不匹配则死亡. 在我的情况下,由于情况而导致证书身份验证失败,因此我需要找到一种干净地绕过此检查的方法. 解决方案 ..
发布时间:2021-06-15 20:14:55 其他开发

Perl WWW::Mechanize(或 LWP)获取重定向 url

所以我使用 WWW::Mechanize 来抓取网站.效果很好,除非我请求一个网址,例如: http://www.levi.com/ 我被重定向到: http://us.levi.com/home/index.jsp 对于我的脚本,我需要知道这个重定向发生了,以及我被重定向到的 url 是什么.无论如何,是否可以使用 WWW::Mechanize 或 LWP 检测到这一点,然后获取重定向的 ..
发布时间:2021-06-15 20:13:31 其他开发