urllib相关内容

Javascript 访问另一个网页

我对 javascript 知之甚少，但我对编写需要来自另一个网页的信息的脚本很感兴趣.它有一个相当于 urllib2 的 javascript 吗?它不需要非常健壮，足以处理一个简单的 GET 请求，不需要存储 cookie 或任何东西并存储结果. 解决方案 有XMLHttpRequest，但由于同源政策. 但是，您可能有兴趣查看以下 Stack Overflow 帖子，了解有关同 ..
发布时间：2022-01-04 23:10:50 前端开发

使用带有 wget -c 功能的 Python 中的 urllib 下载文件

我正在用 Python 编写一个软件，以便从数据库下载 HTTP PDF.有时下载会因此消息而停止: 检索不完整:在 10689634 个字节中只得到了 3617232 个 如何使用 206 Partial Content HTTP 功能要求下载在停止的地方重新启动? 我可以使用 wget -c 来实现，而且效果很好，但我想直接在我的 Python 软件中实现它. 有什么想法吗? ..
发布时间：2022-01-02 17:08:36 Python

python请求很慢

我正在开发一个下载管理器.使用 python 中的 requests 模块检查有效链接(以及可能已损坏的链接).我用于检查以下链接的代码: url = 'http://pyscripter.googlecode.com/files/PyScripter-v2.5.3-Setup.exe'r = requests.get(url, allow_redirects=False) # 这一行需要 40 ..
发布时间：2021-12-31 19:58:35 Python

PayPal 的 Python 接口 - urllib.urlencode 非 ASCII 字符失败

我正在尝试实施 PayPal IPN 功能.基本协议如下: 客户从我的网站重定向到 PayPal 的网站以完成付款.他登录自己的帐户，授权付款. PayPal 调用我服务器上的一个页面，将详细信息作为 POST 传递.详细信息包括一个人的姓名、地址和付款信息等. 我需要从我的处理页面内部调用 PayPal 站点上的 URL，将在上面传递的所有参数和一个名为“cmd"的附加参数传回，其值为 ..
发布时间：2021-12-29 17:31:49 Python

Python urllib2 自动填表和检索结果

我希望能够在网站上查询运行此脚本的机器的保修信息.如果需要，它应该能够填写表格(例如 HP 的服务站点的情况)，然后能够检索结果网页. 我已经有一些位来解析报告回来的结果 html 我只是在处理需要做的事情时遇到了麻烦，以便对需要放入字段中的数据进行 POST能够检索结果页面. 解决方案 如果你绝对需要使用 urllib2，基本要点是这样的: 导入urllib导入 urllib2u ..
发布时间：2021-12-29 13:13:06 Python

如何处理来自 urllib.request.urlopen() 的响应编码，以避免 TypeError: can't use a string pattern on a bytes-like object

我正在尝试使用 urllib.request.urlopen() 打开一个网页，然后使用正则表达式进行搜索，但是出现以下错误: TypeError: 不能在类似字节的对象上使用字符串模式 我明白为什么，urllib.request.urlopen() 返回一个字节流，所以 re 不知道要使用的编码.在这种情况下我该怎么办?有没有办法在 urlrequest 中指定编码方法，或者我是否需 ..
发布时间：2021-12-27 15:21:16 Python

使用 urllib.request 验证 HTTPS 证书

我正在尝试使用 urlopen Python 3 的 方法urllib.request 模块.它似乎工作正常，但文档警告“[i]如果既没有指定 cafile 也没有指定 capath，HTTPS 请求将不会对服务器的证书进行任何验证". 如果我不希望我的程序容易受到中间人攻击、吊销证书问题和其他漏洞，我猜我需要指定其中一个参数. cafile 和 capath 应该指向证书列表.我应该 ..
发布时间：2021-12-26 19:50:04 Python

urllib 无法读取 https

(Python 3.4.2)有人能帮我用 urllib 获取 https 页面吗?我花了几个小时试图弄清楚这一点. 这是我想要做的(非常基本的): import urllib.requesturl = "".join((baseurl, other_string, midurl, query))响应 = urllib.request.urlopen(url)html = response. ..
发布时间：2021-12-26 19:48:31 其他开发

如何在python中取消引用一个urlencoded unicode字符串?

我有一个像“Tanım"这样的 unicode 字符串，它以某种方式被编码为“Tan%u0131m".如何将此编码字符串转换回原始 unicode.显然 urllib.unquote 不支持 unicode. 解决方案 %uXXXX 是一个 非标准编码方案 已被 w3c 拒绝，尽管在 JavaScript 领域仍有实现. 更常见的技术似乎是对字符串进行 UTF-8 编码，然后使用 % ..
发布时间：2021-12-26 13:44:41 Python

Python:导入 urllib.quote

我想使用 urllib.quote().但是 python (python3) 没有找到模块.假设，我有这行代码: print(urllib.quote("châteu", safe='')) 如何导入 urllib.quote? import urllib 或import urllib.quote 都给 AttributeError: 'module' 对象没有属性 'quote' ..
发布时间：2021-12-25 19:53:50 Python

防止“隐藏"在 Python 中使用 urlopen() 重定向

我正在使用 BeautifulSoup 进行网页抓取，并且在使用 urlopen 时遇到特定类型网站的问题.网站上的每个项目都有自己独特的页面，并且项目有不同的格式(例如:500 mL、1L、2L...). 当我使用 Internet 浏览器打开产品的 URL (www.example.com/product1) 时，我会看到一张 500 mL 格式的图片，以及有关它的信息 (价格、数量、风 ..
发布时间：2021-12-23 20:46:22 Python

urllib.error.URLError: ?

所以，我的代码只有 4 行.我正在尝试连接到一个网站，之后我尝试做的事情无关紧要，因为在没有其他代码的情况下出现了错误. import urllib.request从 bs4 导入 BeautifulSouphtml=urllib.request.urlopen('http://python-data.dr-chuck.net/known_by_Fikret.html').read()汤=Bea ..
发布时间：2021-12-23 20:10:53 Python

BeautifulSoup get_text 来自 find_all

这是我第一次使用网络抓取.到目前为止，我能够导航并找到我想要的 HTML 部分.我也可以打印.问题是只打印文本，这是行不通的.尝试时出现以下错误:AttributeError: 'ResultSet' object has no attribute 'get_text' 这是我的代码: from bs4 import BeautifulSoup导入 urllibpage = urllib. ..
发布时间：2021-12-23 19:59:07 Python

如何知道 urllib.urlretrieve 是否成功?

urllib.urlretrieve 即使远程 http 服务器上不存在该文件，它也会静默返回，它只是将 html 页面保存到指定文件中.例如: urllib.urlretrieve('http://google.com/abc.jpg', 'abc.jpg') 只是静默返回，即使 google.com 服务器上不存在 abc.jpg，生成的 abc.jpg 也不是有效的 jpg 文件，它实际 ..
发布时间：2021-12-20 10:05:02 Python

用于 POST 多部分/表单数据编码数据的 Python 标准库

我想发布多部分/表单数据编码的数据.我找到了一个外部模块:http://atlee.ca/software/poster/index.html但是我宁愿避免这种依赖.有没有办法使用标准库来做到这一点? 谢谢 解决方案 标准库目前不支持.有食谱，其中包括一段相当短的但是，您可能只想复制代码，以及对替代方案的长时间讨论. ..
发布时间：2021-12-18 14:59:51 Python

Python URLLib/URLLib2 POST

我正在尝试使用 wx/Python 创建一个超级简单的虚拟输入/输出板.对于我将要存储数据的服务器的请求之一，我已准备好以下代码: data = urllib.urlencode({'q': 'Status'})u = urllib2.urlopen('http://myserver/inout-tracker', 数据)对于 u.readlines() 中的行:印刷线 没有什么特别的.我遇到 ..
发布时间：2021-12-18 14:29:19 Python

如何使用 BeautifulSoup 和 Python 调用 JavaScript 函数

作为项目的一部分，我正在执行网页抓取以从网站抓取数据.我可以发出请求并获取 dom 中存在的数据.但是，一些数据会在 javascript onClick 函数上呈现. 一种方法是，使用 selenium 点击链接(调用 javascript 函数)并抓取渲染的数据，但这个过程很耗时，我不想打开浏览器. > 除了 selenium 之外还有什么方法可以实现吗? 网站:http:// ..
发布时间：2021-12-17 13:51:23 前端开发