urllib相关内容

如何在web2py中进行需要登录的api调用?

我想从应用程序访问 API.这些 API 有装饰器 @auth.requires_login(). 我正在使用 从控制器调用api demo_app/controllers/plugin_task/task url = request.env.http_origin + URL('api', 'bind_task')页面 = urllib2.Request(url)page.add_h ..
发布时间:2021-11-15 03:06:01 其他开发

bitfinex api v2 错误,无效密钥

我正在尝试对其新的 v2 api 进行基本的经过身份验证的 api 调用,并返回无效的 api 密钥错误. 我重新发出 api 密钥只是为了验证,同样的错误. from time 导入时间导入 urllib.request导入 urllib.parse导入哈希库进口hmacAPIkey = b'myapikeyyouarenotsupposedtosee'秘密 = b'myceeeeee ..
发布时间:2021-11-15 02:49:00 其他开发

使用 Python 将字符串列表转换为 URL 列表

我有一个字符串列表(实际上是 URL) ['https://part.of.url/P2000-01.xls','https://part.of.url/P2001-02.xls','https://part.of.url/P2002-03.xls','https://part.of.url/P2003-04.xls','https://part.of.url/P2004-05.xls','ht ..
发布时间:2021-09-15 18:36:34 其他开发

使用 urllib 会导致 SSL 错误

使用 urllib 运行请求但不断收到此错误: 回溯(最近一次调用最后一次):文件“/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py",第 1318 行,在 do_openencode_chunked=req.has_header('传输编码'))文件“/Library/Framew ..
发布时间:2021-09-15 18:36:31 其他开发

使用 urllib 抓取网页

我希望从 CME 网站获取一些信息即我想获得 10 年期国债期货的期货收益率和期货 DV01.在旧的线程上找到了这个小片段: 导入 urllib.request类 AppURLopener(urllib.request.FancyURLopener):版本 = "Mozilla/5.0"开瓶器 = AppURLopener()fh = opener.open('http://www.cmegro ..
发布时间:2021-09-15 18:36:28 其他开发

重试连接重置

我正在使用 urllib.request 从互联网下载文件.但是有时我会收到 Connection Reset by Peer 并且我想重试. 我尝试了以下操作,但似乎 e.errno 包含 socket error 而不是实际的 errno: 虽然为真:尝试:文件名,标题 = urllib.request.urlretrieve(url)休息除了 IOError 作为 e:如果 e.er ..
发布时间:2021-09-15 18:36:22 其他开发

应为 类型的可迭代数据指定 Content-Length;

导入 urllib.request网址 = '网站'标头 = {'授权':'基本 emVkMHg6WWJyYm5mMDA='}req = urllib.request.Request(url, headers)响应 = urllib.request.urlopen(req).getcode() 我想在远程服务器上编写多线程授权,但我看到了: 回溯(最近一次调用最后一次):文件“C:\Progr ..
发布时间:2021-09-15 18:36:19 其他开发

Python 使用请求提交网络表单

所以我需要抓取这个网站使用python,但是我在尝试提交表单时发现了一个问题.我得到的回复是与表单相同的页面,而不是提交表单后的结果.我尝试使用请求 library/mechanize/urllib. 带有请求的代码: url = "http://www.justiceservices.gov.mt/courtservices/Judgements/search.aspx?func=sel ..
发布时间:2021-09-15 18:36:16 其他开发

如何使用 urllib 修复 SSL 证书错误?

我正在开发一个 python 程序来从网站上抓取所有图像并将它们下载到一个文件夹中,同时创建一个 csv 文件来存储所有这些信息.我正在使用 urllib 并继续收到有关 ssl 证书失败的错误.我在 Jupyter Notebook、Windows 10 和 Python 3.7 上运行. 我尝试通过 pip 安装 certifi 和 urllib,但这些已经很满意了.我试过重新启动 Ju ..
发布时间:2021-09-15 18:36:13 其他开发

Python - 如何将诸如 '\xc3\xb6' 之类的 utf 文字转换为字母 ö

我正在尝试将带有德语 Umlaute 的编码 url 转换为带有这些 Umlaute 的字符串. 以下是编码字符串 = 'K%C3%B6nnen' 的示例.我想将其转换为“Können" 当我使用 urllib.unquote(a) 我得到这个返回:'K\xc3\xb6nnen' \xc3\xb6 我发现是 utf 文字. 如何将其转换为 ö ?我发现如果我使用打印函数它会 ..
发布时间:2021-09-15 18:36:10 其他开发

如何控制 Selenium PDF 和 Excel 文件下载行为?

我想从这个网址下载所有招标文件'http://www.ha.org.hk/haho/ho/bssd/T18G014Pc.htm' 我正在使用 selenium 浏览每个招标链接并下载文件. 但是,我的抓取工具无法处理 Excel 下载行为.目前,它可以很好地处理 PDF 文件. from selenium import webdriverfrom selenium.webdriver ..
发布时间:2021-09-15 18:36:07 其他开发

Python - 在没有链接的情况下在网站上下载 csv 文件

我在使用 python 下载 csv 文件时遇到问题. 文件位置:https://www.hkex.com.hk/eng/sorc/options/statistics_hv_iv.aspx?ucode=00001 下载按钮“导出到 csv"显示没有链接的 javascript. 如何下​​载文件?非常感谢! 解决方案 从提供的 URL 中您无法直接提取下载链接.但是,下 ..
发布时间:2021-09-15 18:36:01 其他开发

如何发送没有数据的POST请求

是否可以使用 urllib 或 urllib2 不发送带有 POST 请求的数据?听起来很奇怪,但我使用的 API 在 POST 请求中发送空白数据. 我尝试了以下方法,但由于没有 POST 数据,它似乎发出了 GET 请求. url = 'https://site.com/registerclaim?cid=' + int(cid)值 = {}标题 = {'用户代理' : 'Mozill ..
发布时间:2021-09-15 18:35:59 其他开发

urllib.request.urlopen() 有什么作用?

在 python 3 中,urllib.request 模块中的 urlopen 函数是否检索 URL 的目标,或者只是打开到 URL 的连接作为文件句柄,或者我完全丢失了它?我想了解它是如何工作的. 基本上我想找到从 URL 下载文件所花费的时间.我该怎么做? 这是我的代码: 版本 1 导入urllib导入时间开始 = time.time()使用 urllib.request ..
发布时间:2021-09-15 18:35:56 其他开发

urlretrieve 不适用于此站点

我正在尝试下载图像,但它似乎确实有效.是不是被ddos保护拦截了? 代码如下: urllib.request.urlretrieve("http://archive.is/Xx9t3/scr.png", "test.png") 基本上将该图像下载为“test.png".我正在使用 python3,因此在 urlretrieve 之前使用了 urllib.request. 导入 urll ..
发布时间:2021-09-15 18:35:53 其他开发

如何在 Python 3 中检索带有 User-Agent 标头的文件?

我正在尝试编写一段(简单的)代码来从 Internet 下载文件.问题是,其中一些文件位于阻止默认 python User-Agent 标头的网站上.例如: 将 urllib.request 导入为 htmlhtml.urlretrieve('http://stackoverflow.com', 'index.html') 返回 urllib.error.HTTPError: HTTP Er ..
发布时间:2021-09-15 18:35:50 其他开发

URL 组件 % 和 \x

我有疑问. st = "b%C3%BCrokommunikation"urllib2.unquote(st) 输出:'b\xc3\xbcrokommunikation'但是,如果我打印它: 打印 urllib2.unquote(st) 输出:bürokommunikation 为什么会有不同?我必须将 bürokommunikation 而不是 'b\xc3\xbcrokommuni ..
发布时间:2021-09-15 18:35:47 其他开发

Urllib Unicode 错误,不涉及 Unicode

编辑:我主要编辑了这篇文章的内容,以明确我的问题: 我正在编写一个程序来下载网络漫画,但在下载漫画页面时出现了这个奇怪的错误.我正在运行的代码基本上归结为以下行,后跟错误.我不知道是什么导致了这个错误,这让我很困惑. >>>urllib.request.urlopen("http://abominable.cc/post/47699281401")回溯(最近一次调用最后一次):文件“ ..
发布时间:2021-09-15 18:35:44 其他开发