urllib2相关内容
这只需要在单个子网上工作,不能用于恶意用途. 我有一个用 Python 编写的负载测试工具,它基本上可以在 URL 上发送 HTTP 请求.我需要针对基于 IP 的负载平衡器运行性能测试,因此请求必须来自一系列 IP.大多数商业性能工具都提供此功能,但我想将其构建到我自己的工具中. 该工具使用 Python 的 urllib2 进行传输.是否可以为构成请求的数据包发送带有欺骗 IP 地
..
正如标题所暗示的,我正在开发一个用 python 编写的网站,它多次调用 urllib2 模块来读取网站.然后我用 BeautifulSoup 解析它们. 由于我必须阅读 5-10 个站点,因此页面需要一段时间才能加载. 我只是想知道是否有办法一次阅读所有网站?或者任何让它更快的技巧,比如我应该在每次阅读后关闭 urllib2.urlopen 还是保持打开状态? 添加:另外,如果
..
我正在尝试使用 urllib2 http 客户端在 python 中创建一个下载进度条.我已经浏览了 API(和谷歌),似乎 urllib2 不允许您注册进度挂钩.但是,较旧的已弃用 urllib 确实具有此功能. 有谁知道如何使用 urllib2 创建进度条或报告钩子?或者是否有其他一些技巧可以获得类似的功能? 解决方案 这是一个完整的示例,它建立在 Anurag 的响应中的组块方
..
我想知道,您如何关闭与 Requests (python-requests.org) 的连接? 使用 httplib 是 HTTPConnection.close(),但是我如何对请求做同样的事情? 代码: r = requests.post("https://stream.twitter.com/1/statuses/filter.json", data={'track':toTr
..
如何使用 Python 的 urllib2 发出“保持活动"的 HTTP 请求? 解决方案 使用 urlgrabber 库.这包括支持 HTTP 1.1 和 keepalive 的 urllib2 的 HTTP 处理程序: >>>导入 urllib2>>>从 urlgrabber.keepalive 导入 HTTPHandler>>>keepalive_handler = HTTPHan
..
我正在将可能较大的文件上传到网络服务器.目前我正在这样做: 导入 urllib2f = open('somelargefile.zip','rb')请求 = urllib2.Request(url,f.read())request.add_header("Content-Type", "application/zip")响应 = urllib2.urlopen(请求) 然而,这会在发布之前将整
..
我熟悉我应该将 HTTP_RPOXY 环境变量设置为代理地址这一事实. 一般urllib工作正常,问题出在urllib2上. >>>urllib2.urlopen("http://www.google.com").read() 返回 urllib2.URLError: 或 urllib2.URLError: 额外信息: urllib.urlopen(....) 工作
..
问题:当使用 Python 的 urllib2 POST 数据时,所有数据都经过 URL 编码并作为 Content-Type 发送:application/x-www-form-urlencoded.上传文件时,应将 Content-Type 设置为 multipart/form-data 并且内容采用 MIME 编码. 为了解决这个限制,一些敏锐的编码人员创建了一个名为 Multipar
..
我使用以下代码将大文件从 Internet 流式传输到本地文件: fp = open(file, 'wb')req = urllib2.urlopen(url)对于请求中的行:fp.write(行)fp.close() 这有效,但下载速度很慢.有没有更快的方法?(文件很大,所以我不想将它们保存在内存中.) 解决方案 没有理由逐行工作(小块并且需要 Python 为您找到行尾!-),只需
..
我正在编写一些代码来与 redmine 交互,我需要上传一些文件作为该过程的一部分,但我不确定如何从包含二进制文件的 python 执行 POST 请求. 我试图在这里模仿命令: curl --data-binary "@image.png" -H "Content-Type: application/octet-stream" -X POST -u login:password http
..
我正在使用以下代码使用 Python 保存网页: 导入urllib导入系统从 bs4 导入 BeautifulSoupurl = 'http://www.vodafone.de/privat/tarife/red-smartphone-tarife.html'f = urllib.urlretrieve(url,'test.html') 问题:此代码将 html 保存为基本 html,没有 j
..
好的,所以我将它用于 reddit 机器人,但我希望能够弄清楚如何登录任何网站.如果这有意义.... 我意识到不同的网站使用不同的登录表单等.那么我如何弄清楚如何为每个网站优化它?我假设我需要在 html 文件中寻找一些东西,但不知道是什么. 我不想使用 Mechanize 或任何其他库(这是这里所有其他答案的内容,实际上并没有帮助我了解正在发生的事情),因为我想自己了解它究竟是如何一
..
更新:根据 Lee 的评论,我决定将我的代码压缩为一个非常简单的脚本并从命令行运行它: 导入 urllib2导入系统用户名 = sys.argv[1]密码 = sys.argv[2]url = sys.argv[3]print("用 %s 调用 %s:%s\n" % (url, username, password))passman = urllib2.HTTPPasswordMgrWithDe
..
在 Python 中我收到一个错误: Exception: (,AttributeError("'str' object has no attribute 'read'",), ) 给定的python代码: def getEntries (self, sub):url = 'http://www.reddit.com/'如果(子!= ''):网址 += 'r/' + 子请求 = urllib
..
我正在尝试连接到 radian6 api,这需要 auth_appkey、auth_user和 auth_pass 作为 md5 加密. 当我尝试使用 telnet 连接时,我可以成功获得响应 xml telnet sandboxapi.radian6.com 80正在尝试 142.166.170.31...连接到sandboxapi.radian6.com.转义字符是“^]".GET/s
..
我想从应用程序访问 API.这些 API 有装饰器 @auth.requires_login(). 我正在使用 从控制器调用api demo_app/controllers/plugin_task/task url = request.env.http_origin + URL('api', 'bind_task')页面 = urllib2.Request(url)page.add_h
..
我正在尝试通过 yahoo 提取日内 aapl 股票数据.但是我的程序遇到了问题.. 将pandas导入为pd导入日期时间导入 urllib2导入 matplotlib.pyplot 作为 pltget = 'http://chartapi.finance.yahoo.com/instrument/1.0/aapl/chartdata;type=quote;range=1d/csv'getdat
..
我正在使用 Python 并且有一个我正在尝试使用的 URL 像这样 https://[username@domain.com]:[password]@domain.com/blah 这是我的代码: response =urllib2.urlopen("https://[username@domain.com]:[password]@domain.com/blah")html = respo
..
在 Python 2.7 中,我想打开一个包含重音符号的 URL(链接本身,而不是它指向的页面).如果我使用以下内容: #!/usr/bin/env Python# -*- 编码:utf-8 -*-导入 urllib2测试 = "https://www.notifymydevice.com/push?ApiKey=K6HGFJJCCQE04G29OHSRBIXI&PushTitle=Les%20
..
我实际上正在编写代码来检查链接是直接链接还是错误链接或重定向或文件下载链接 当我写这些行时 导入 urllib2response = urllib2.urlopen('http://google.com') 我收到如下错误: 回溯(最近一次调用最后一次):文件“",第 1 行,在 中response = urllib2.urlopen('http
..