Python：urllib / urllib2 / httplib混淆
我正在尝试通过在Python中编写登录序列脚本来测试Web应用程序的功能，但我遇到了一些麻烦。 这就是我需要的东西要做的事情： 使用一些参数和标题进行POST。 遵循重定向 检索HTML正文。 现在，我对python相对较新，但是到目前为止，我测试过的两件事情都没有奏效。首先我使用了httplib，putrequest（）（传递URL中的参数）和putheader（）。这似乎
..
urllib2相关内容
Python-Requests关闭http连接
我想知道，你如何关闭与Requests的连接（python-requests.org）？ 使用 httplib 它是 HTTPConnection.close（），但我如何对请求做同样的事情？ 代码如下： r = requests.post（“ https://stream.twitter.com/1/statuses/filter.json“，data = {'track'：
..
Python urllib2 Progress Hook
我正在尝试使用urllib2 http客户端在python中创建下载进度条。我查看了API（以及谷歌），似乎urllib2不允许您注册进度挂钩。但是旧的已弃用的urllib确实具有此功能。 有没有人知道如何使用urllib2创建进度条或报告挂钩？或者是否有其他一些黑客可以获得类似的功能？ 解决方案 这是一个完全有效的例子，它建立在Anurag的分块方法的基础上响应。我的版本允许您设置
..
Python：HTTP发布带有流媒体的大文件
我正在将可能较大的文件上传到网络服务器。目前我正在这样做： import urllib2 f = open（'somelargefile.zip'， 'rb'） request = urllib2.Request（url，f.read（）） request.add_header（“Content-Type”，“application / zip”） response = url
..
Python urllib2保持活着
如何使用Python的urllib2创建“保持活跃”的HTTP请求？ 解决方案 使用 urlgrabber 库。这包括支持HTTP 1.1和keepalive的urllib2的HTTP处理程序： >>> import urllib2 >>>来自urlgrabber.keepalive导入HTTPHandler >>> keepalive_handler = HTTPHandler
..
使用HTTP PROXY - Python
我很熟悉我应该将HTTP_RPOXY环境变量设置为代理地址。 通常urllib工作正常，问题是处理urllib2。 >>> urllib2.urlopen（“http://www.google.com”）。read（） 返回 urllib2.URLError：
..
从网址下载.html文件时发生超时错误
错误：引发URLError（err）urllib2。 URLError：
..
从网站提取表格
我曾多次尝试在此网站检索表格： http://www.whoscored.com/Players/845/History/Tomas-Rosicky （”历史参与“下的那个） 从bs4导入urllib2 导入BeautifulSoup 汤= BeautifulSoup（urllib2.urlopen（'http://www.whoscored.com/Players/845/' ）.
..
Python Beautifulsoup get_text（）没有获取所有文本
我试图使用beautifulsoup get_text（）方法从html标签获取所有文本。我使用Python 2.7和Beautifulsoup 4.4.0。它适用于大多数时间。但是，这种方法有时只能从标签中获得第一段。我无法弄清楚为什么。请参阅以下示例。 from bs4 import BeautifulSoup 导入urllib2 job_url = “http://www.
..
为一个名称urllib2发送多个值
我试图提交一个网页，有复选框，我需要多达10个这些复选框被检查 问题是当我尝试将它们分配给一个名称一个字典它只分配最后一个不是全部10 所以我怎么能这样做是请求代码： forms = {“_ref_ck”：ref， “type”：“create”， “selected_items []”：sel_itms [0]， “selected_items []”：sel_itms [1
..
urllib2为浏览器显示正常的网站返回404
我无法使用urllib2打开一个特定的网址。同样的方法适用于其他网站，例如“http://www.google.com”，但不适用于此网站（在浏览器中也显示正常）。 我的简单的代码： from BeautifulSoup import BeautifulSoup import urllib2 $ b $ url url =“http： //www.experts.scival
..
如何保存“完整的网页”不只是使用Python的基本html
我使用以下代码来保存使用Python的网页： import urllib import sys from bs4 import BeautifulSoup url ='http://www.vodafone.de/privat/tarife/red-smartphone-tarife.html' f = urllib.urlretrieve（url，'test .html'
..
如何向urllib2打开程序添加标题？
cj = cookielib.CookieJar（） opener = urllib2.build_opener（urllib2.HTTPCookieProcessor（cj）） opener.open（'http：// abc .com'） opener.open（'http://google.com'） 正如你所看到的，我使用开罐器访问不同的网站，使用饼干罐。我可以设置
..
如何在HTTP请求中使用urllib2发送自定义标题？
在使用urllib2.urlopen（..）时，我想在我的请求中发送一个自定义的“Accept”标头。我该怎么做？ 解决方案 不完全。创建 Request 对象实际上并不发送请求，而Request对象没有 Read（）方法。 （另外： read（）是小写的。）您只需将 Request 作为第一个参数传递给 urlopen（）并且会给你你的回应。 $ b import urllib2
..
来自HTTP的Unescape Python字符串
我从HTTP头获得了一个字符串，但它已经被转义了。我可以使用什么函数来隐藏它？ myemail％40gmail.com - > myemail@gmail.com urllib.unquote（）是否应该去？ 解决方案 我很确定urllib的 unquote 是执行此操作的常用方式。 >>>导入urllib >>> urllib
..
urllib2：提交表单然后重定向
我的目标是想出一个可移植的urllib2解决方案，它将发布一个表单，然后将用户重定向到出现的问题。 POSTing部分很简单： request = urllib2.Request（'https://some.site/page '，data = urllib.urlencode（{'key'：'value'}）） response = urllib2.urlopen（request）
..
Urllib2 - 获取并显示任何语言页面，编码问题
我使用Python Google App Engine来简单获取html页面并显示它。我的目标是能够以任何语言获取任何页面。现在我遇到了一个编码问题： 简单 result = urllib2.urlopen（url）.read（） 将工件留在特殊字母的位置并且 urllib2.urlopen（url）.read（）。decode（'utf8' ）
..
无法从GAE本地环境中获取网址
错误： 我试图在Google应用引擎中使用urllib2获取网址时出现以下错误：连接到服务器时发生错误：无法获取URL：http://www.google.com错误：[Errno 10106] getaddrinfo失败 这是调用urllib2开放读取方法的代码： def get（self） ： self.write（urllib2.urlopen（“http://
..
在没有名称属性的Python中提交表单
背景： 使用Python中的urllib和urllib2，您可以进行表单提交。 您首先创建一本字典。 formdictionary = {'search '：'stackoverflow'} 然后使用urllib的urlencode方法来转换这个字典。 params = urllib.urlencode（formdictionary）
..
Python无法使用urllib或机械化来检索表单
我试图使用Python填写并提交表单，但我无法检索生成的页面。我试过了mechanize和urllib / urllib2方法来发布表单，但都遇到了问题。 我试图检索的表单在这里： http： //zrs.leidenuniv.nl/ul/start.php 。该页面是荷兰语，但这与我的问题无关。值得注意的是，表单操作会重定向到 http://zrs.leidenuniv.nl/ul/que
..