urllib2相关内容

使用Python列出在线目录中的所有文件?

你好,我只是想知道我正在尝试创建一个从互联网下载文件的python应用程序,但目前它只下载一个名称我知道的文件...有什么办法,我可以得到一个列表的文件在一个在线目录下载?不明显我的代码一次下载一个文件,只是你知道一些我不会做的。 import urllib2 url =“http://cdn.primarygames.com/taxi.swf” file_name = ur ..
发布时间:2017-07-13 10:49:36 Python

python请求缓慢

我正在开发一个下载管理器。使用python中的请求模块检查一个有效的链接(并希望破坏链接)。 我的代码检查链接如下: url ='http://pyscripter.googlecode.com/files/ PyScripter-v2.5.3-Setup.exe' r = requests.get(url,allow_redirects = False)#this行需要40秒 如果r. ..
发布时间:2017-07-13 10:32:15 Python

使用wget -c功能在Python中使用urllib下载文件

我正在Python中编写一个软件,从数据库中下载HTTP PDF。 有时下载停止与此消息: 检索不完整:只有3617232从10689634字节 如何使用 206部分内容 HTTP功能? 我可以使用 wget -c 来做,它的效果很好,但是我想在我的Python软件中直接实现它。 任何想法? 谢谢 解决方案 您可以通过发送带有范围标头的 ..
发布时间:2017-07-13 09:47:23 Python

在Python中获取使用Javascript生成的页面

我想下载由 Javascript 生成的网页,并将其存储在 Python 代码中的字符串变量中。当您点击按钮时,会生成该页面。 如果我知道生成的URL,我将使用 urllib2 这不是这种情况。 谢谢 解决方案 请使用 Selenium Webdriver : 从selenium.webdriver.support.ui中导入关闭 > #!/ usr / bin / e ..
发布时间:2017-07-13 08:53:14 前端开发

在urllib2中重复的主机查找失败

我有一些代码,它使用Python的urllib2发出许多HTTP GET请求,在几个线程中,将响应写入文件(每个线程一个)。 在执行期间,看起来很多主机查找失败(导致名称或服务未知错误,请参阅附加的错误日志作为示例)。 这是由于一个片状的DNS服务吗?依靠DNS缓存,是不是很糟糕的做法,如果主机名没有改变?即应该将单个查找结果传递给 urlopen ? 线程16: 追溯(最近的最 ..
发布时间:2017-06-09 20:16:57 Python

告诉urllib2使用自定义DNS

我想告诉 urllib2.urlopen (或定制开启者)使用 127.0.0.1 (或 :: 1 )来解析地址。我不会更改我的 /etc/resolv.conf 。 一个可能的解决方案是使用工具像 dnspython 查询地址和 httplib 来构建一个自定义url开启器。我喜欢告诉 urlopen 来使用自定义名称服务器。任何建议? 解决方案 看起来像名称解析最终由 socke ..
发布时间:2017-06-09 19:39:13 Python

Django中的urllib2 / pycurl:获取XML,检查HTTP状态,检查HTTPS连接

我需要在Django中进行API调用(作为我们需要的自定义认证系统的一部分)。用户名和密码通过SSL发送到特定的URL(对于这些参数使用GET),响应应为HTTP 200“OK”响应,主体包含用户信息的XML。 对于不成功的身份验证,它将返回HTTP 401“未经授权”的响应。 出于安全考虑,我需要检查: 请求通过HTTPS连接发送 服务器证书的公钥与预期值匹配(我使用'证书固 ..
发布时间:2017-05-30 20:50:18 Python

在一个Python 2.4脚本中,我想执行一个os系统调用`ls -l`或`curl`,例如在一个变量中捕获输出。怎么办?

我正在使用旧版本的python 2.4在远程服务器上编写一个python脚本。 在脚本中,我想发出如 curl -XPUT'http:// somerul / _search'-d file.txt 或 ls -ltrh 并将这些命令的输出捕获到变量中。对于curl命令,输出将是一个我将解析的json格式(请指出,如果一个旧的json解析器可供我使用).. 我如何在python脚本中进行这 ..
发布时间:2017-05-30 05:47:26 Python

urlib2.urlopen在Django失败

我使用 urllib2.urlopen(url)获取HTML内容。网址为 http://127.0.0.1:8000/m.html/ 。 此方法成功获取HTML内容。 但是在Django中,如果我尝试获取HTML内容,它将停止在函数中: urllib2.urlopen('http://127.0.0.1:8000/m.html/')。 它只是停止。它不报告错误,服 ..
发布时间:2017-05-30 01:40:55 其他开发

如何在urllib2请求中发送utf-8内容?

我在过去半天遇到以下问题,尽管我已经找到了一些有关类似问题的信息,但是没有什么真正的命中。 我正在尝试使用urllib2发送一个PUT请求,其中包含一些Unicode字符: body = u'{“bbb “:”asdf\xd7\xa9\xd7\x93\xd7\x92“}' conn = urllib2.Request(request_url,body,headers) conn. ..
发布时间:2017-05-29 20:38:08 Python

Python / Django从URL下载图像,修改并保存到ImageField

我一直在寻找一种从URL下载图像的方法,对其进行一些图像操作(调整大小)操作,然后将其保存到django ImageField。使用两个伟大的帖子(下面链接),我已经能够下载并将图像保存到ImageField。但是,一旦我拥有这个文件,我一直在操作一些麻烦。具体来说,模型字段save()方法需要一个File()对象作为第二个参数。 所以我的数据最终必须是一个File()对象。以下链接的博文显 ..
发布时间:2017-05-29 00:50:02 Python

如何验证urllib2脚本以便从Django站点访问HTTPS Web服务?

大家。 我正在使用一个django / mod_wsgi / apache2网站,使用https为所有请求和响应提供敏感信息。如果用户未通过身份验证,所有视图都将被写入重定向。它还有几个意图,像RESTful Web服务一样。 我现在正在编写一个使用urllib / urllib2的脚本来联系其中几个服务,以便下载一系列非常大的文件。我尝试登录时遇到403:FORBIDDEN错误的问题。 ..
发布时间:2017-05-28 18:18:31 Python

Python urllib下载一个在线目录的内容

我正在尝试制作一个程序来打开一个目录,然后使用正则表达式获取powerpoint的名称,然后在本地创建文件并复制其内容。当我运行它,它似乎工作,但是,当我实际上尝试打开文件,他们说版本是错误的。 来自urllib.request import urlopen import re urlpath = urlopen('http://www.divms.uiowa.edu/~jni/ ..
发布时间:2017-05-26 21:50:50 Python

cURL:https通过代理

我需要向https网址发出cURL请求,但我还必须通过代理。这是否有一些问题?我一直有这么多麻烦这样做curl和php,我试着用urllib2在Python中,只是发现urllib2不能POST到https当通过代理。我没有找到任何与cURL这样的文档,但我想知道是否有人知道这是否是一个问题? 解决方案 例如,w /命令行,除非你使用命令行curl。配置的证书,您需要 -k 切换。要通 ..
发布时间:2017-03-06 05:19:57 PHP

使用pycurl获取多个页面?

我想从网站获取许多网页,例如 curl“http://farmsubsidy.org/DE/ browse?page = [0000-3603]“-o”de。#1“ 页面数据在python,而不是磁盘文件。 有人可以发布 pycurl 代码来执行此操作, 或快速 urllib2 (不是一次一个),如果可能的话, 或者说“忘记它,卷曲更快,更健壮”?感谢 解 ..
发布时间:2017-03-06 01:34:08 Python