urllib2相关内容

python请求库中的https代理支持

我使用python Requests库来做HTTP相关的事情。我在我的计算机上使用免费的ntlmaps设置了一个代理服务器，作为代理来回答公司ISA服务器的NTLM挑战。但是，响应似乎总是空的，如下所示： >>>导入请求 >>> r = requests.get（'https://www.google.com'） >>> r.text u' \\\\ n' ..
发布时间：2018-07-10 18:10:48 Python

Python urllib2> HTTP代理> HTTPS请求

这项工作很好： import urllib2 opener = urllib2.build_opener（ urllib2.HTTPHandler（）， urllib2.HTTPSHandler（）， urllib2.ProxyHandler（{'http'：'http：// user：pass @ proxy：3128'}）） urllib2.install_opener ..
发布时间：2018-07-10 17:39:34 Python

如何检查重定向的网页地址，而无需在Python中下载

对于给定的URL，如何在HTTP重定向后检测最终的Internet位置，而无需使用python下载最终页面（例如HEAD请求。）。我正在尝试编写一个大规模下载器，我的下载机制需要在下载之前知道页面的互联网位置。 编辑 我最终做到了这一点，我希望这有助于其他人。我仍然对其他方法持开放态度。 import urlparse import httplib def getF ..
发布时间：2018-07-10 15:17:29 Python

使用python urllib2获取位置标头的值

当我使用urllib2并列出标题时，我看不到“位置”标题。 在[19]中：p = urllib2.urlopen（'http://www.example.com'） 在[21]中：p.headers.items（） Out [21 ]： [（'transfer-encoding'，'chunked'）， （'vary'，'Accept-Encoding'）， （'server'， ..
发布时间：2018-07-10 15:07:09 Python

URL存在时，urllib2捕获404错误

我遇到了一个奇怪的错误：urllib2捕获404错误，同时打开一个有效的URL。我在浏览器中尝试了它，可以打开网址。我也传递了用户代理。 将urllib.request导入为urllib2 uri ='https://i.ytimg.com/vi/8Sii8G5CNvY /hqdefault.jpg?custom=true&w=196&h=110&stc=true&jpg444=true ..
发布时间：2018-07-10 11:08:08 Python

urllib2给出HTTP错误400：某些网址的错误请求，适用于其他网址

我正在尝试使用Python的urllib2模块执行简单的HTTP get请求。它有时会工作，但有时我会得到 HTTP错误400：错误请求。我知道这不是URL的问题，因为如果我使用 urllib 而只需执行 urllib.urlopen（url）它工作正常 - 但是当我添加标题并执行 urllib2.urlopen（）我在某些网站上收到错误请求。 以下代码不起作用： ＃ - * - ..
发布时间：2018-07-10 10:39:08 Python

urllib2超时但未关闭套接字连接

我正在制作一个python URL抓取程序。为了我的目的，我希望它真的很快超时，所以我正在做 urllib2.urlopen（“http：//。 ../“，超时= 2） 当然它应该正确超时。但是，它并不打算关闭与服务器的连接，因此服务器认为客户端仍然连接。如何请求urllib2在超时后关闭连接？ 运行gc.collect（）不起作用我想不使用httplib如果我无能为力。 ..
发布时间：2018-07-10 10:04:10 Python

使用Python和urllib2时设置Host-header

我正在使用自己的解析器，并希望使用urllib2来连接到IP（在urllib2中没有解析），我想自己设置HTTP Host-header。但是urllib2只是忽略了我的Host-header： txheaders = {'User-Agent'：UA，“Host：”： nohttp_url} robots = urllib2.Request（“http：//”+ ip +“/robo ..
发布时间：2018-07-10 09:40:32 Python

尽管超时，urllib2.urlopen将永远挂起

希望这是一个非常简单的问题，但它让我发疯。 我在ubuntu 12.10服务器的开箱即用安装上使用Python 2.7.3。我一直在关注这个问题直到我得到这个片段： import urllib2 x = urllib2.urlopen（“http ：//casacinema.eu/movie-film-Matrix+trilogy+123+streaming-6165.html“，ti ..
发布时间：2018-07-09 16:17:00 Python

urllib2是否支持抢占式身份验证身份验证？

我正在尝试访问REST API。 我可以在Curl / REST Client（UI工具）中使用它，并启用了抢先身份验证。 但是，使用urllib2，默认情况下它似乎不支持这个，我找不到打开它的方法。 谢谢：） 解决方案 这是一个简单的抢占式HTTP基本身份验证处理程序，基于 urllib2.HTTPBasicAuthHandler 。它可以以完全相同的方式使用，除了授权 ..
发布时间：2018-07-09 15:53:57 Python

urllib2 POST进度监控

我正在通过POST将带有urllib2的相当大的文件上传到服务器端脚本。我想显示一个显示当前上传进度的进度指示器。是否有urllib2提供的钩子或回调允许我监控上传进度？我知道你可以通过连续调用连接的read（）方法来下载，但我没有看到write（）方法，你只需要向请求中添加数据。 解决方案 这是可能的，但你需要做一些事情： 假urllib2子系统通过附加 __ len __ 属性将 ..
发布时间：2018-07-09 14:54:15 Python

如何在执行多个请求时加速Python的urllib2

我正在使用python的urllib2库向特定主机发出几个http请求。每次发出请求时，都会创建一个新的tcp和http连接，这需要花费大量时间。是否有任何方法可以使用urllib2保持tcp / http连接活动？ 解决方案 如果切换到 ..
发布时间：2018-07-09 14:43:50 Python

urllib2没有检索整个HTTP响应

我很困惑为什么我无法从 FriendFeed 下载某些JSON响应的全部内容使用 urllib2 。 >>> import urllib2 >>> stream = urllib2.urlopen（'http://friendfeed.com/api/room/the-life-scientists/profile?format=json'） >>> stream.hea ..
发布时间：2018-07-09 14:42:53 Python

欺骗HTTP请求的始发IP地址

这只需要在单个子网上工作，不会被恶意使用。 我有一个用Python编写的负载测试工具，它基本上会在URL上发出HTTP请求。我需要针对基于IP的负载均衡器运行性能测试，因此请求必须来自一系列IP。大多数商业性能工具都提供此功能，但我想将其构建为我自己的。 该工具使用Python的urllib2进行传输。是否可以为构成请求的数据包发送带有欺骗性IP地址的HTTP请求？ 解决方案 ..
发布时间：2018-07-09 14:39:52 Python

捕获python中的特定HTTP错误

我想抓住一个特定的http错误而不是整个家庭中的任何一个.. 我想要做的是 - import urllib2 try： urllib2.urlopen（“some url”） 除了urllib2.HTTPError： 但我最终得到的是任何类型的http错误，但我想抓住的只是指定的网页不存在!!可能那是HTTP错误404 ..但我不知道如何指 ..
发布时间：2018-07-09 14:39:01 Python