urllib2相关内容

欺骗 HTTP 请求的原始 IP 地址

这只需要在单个子网上工作,不能用于恶意用途. 我有一个用 Python 编写的负载测试工具,它基本上可以在 URL 上发送 HTTP 请求.我需要针对基于 IP 的负载平衡器运行性能测试,因此请求必须来自一系列 IP.大多数商业性能工具都提供此功能,但我想将其构建到我自己的工具中. 该工具使用 Python 的 urllib2 进行传输.是否可以为构成请求的数据包发送带有欺骗 IP 地 ..
发布时间:2021-12-11 11:44:48 Python

Python urllib2.urlopen() 很慢,需要更好的方法来读取几个url

正如标题所暗示的,我正在开发一个用 python 编写的网站,它多次调用 urllib2 模块来读取网站.然后我用 BeautifulSoup 解析它们. 由于我必须阅读 5-10 个站点,因此页面需要一段时间才能加载. 我只是想知道是否有办法一次阅读所有网站?或者任何让它更快的技巧,比如我应该在每次阅读后关闭 urllib2.urlopen 还是保持打开状态? 添加:另外,如果 ..
发布时间:2021-12-11 10:44:41 Python

Python urllib2 进度挂钩

我正在尝试使用 urllib2 http 客户端在 python 中创建一个下载进度条.我已经浏览了 API(和谷歌),似乎 urllib2 不允许您注册进度挂钩.但是,较旧的已弃用 urllib 确实具有此功能. 有谁知道如何使用 urllib2 创建进度条或报告钩子?或者是否有其他一些技巧可以获得类似的功能? 解决方案 这是一个完整的示例,它建立在 Anurag 的响应中的组块方 ..
发布时间:2021-12-11 10:38:00 Python

Python 请求关闭 http 连接

我想知道,您如何关闭与 Requests (python-requests.org) 的连接? 使用 httplib 是 HTTPConnection.close(),但是我如何对请求做同样的事情? 代码: r = requests.post("https://stream.twitter.com/1/statuses/filter.json", data={'track':toTr ..
发布时间:2021-12-11 10:24:42 Python

保持活动状态的 Python urllib2

如何使用 Python 的 urllib2 发出“保持活动"的 HTTP 请求? 解决方案 使用 urlgrabber 库.这包括支持 HTTP 1.1 和 keepalive 的 urllib2 的 HTTP 处理程序: >>>导入 urllib2>>>从 urlgrabber.keepalive 导入 HTTPHandler>>>keepalive_handler = HTTPHan ..
发布时间:2021-12-11 10:24:04 Python

Python:HTTP 使用流式传输大文件

我正在将可能较大的文件上传到网络服务器.目前我正在这样做: 导入 urllib2f = open('somelargefile.zip','rb')请求 = urllib2.Request(url,f.read())request.add_header("Content-Type", "application/zip")响应 = urllib2.urlopen(请求) 然而,这会在发布之前将整 ..
发布时间:2021-12-11 10:22:13 Python

使用 HTTP 代理 - Python

我熟悉我应该将 HTTP_RPOXY 环境变量设置为代理地址这一事实. 一般urllib工作正常,问题出在urllib2上. >>>urllib2.urlopen("http://www.google.com").read() 返回 urllib2.URLError: 或 urllib2.URLError: 额外信息: urllib.urlopen(....) 工作 ..
发布时间:2021-12-11 10:09:37 Python

使用 urllib2 将大型二进制文件流式传输到文件

我使用以下代码将大文件从 Internet 流式传输到本地文件: fp = open(file, 'wb')req = urllib2.urlopen(url)对于请求中的行:fp.write(行)fp.close() 这有效,但下载速度很慢.有没有更快的方法?(文件很大,所以我不想将它们保存在内存中.) 解决方案 没有理由逐行工作(小块并且需要 Python 为您找到行尾!-),只需 ..
发布时间:2021-12-09 19:56:27 Python

Python POST 二进制数据

我正在编写一些代码来与 redmine 交互,我需要上传一些文件作为该过程的一部分,但我不确定如何从包含二进制文件的 python 执行 POST 请求. 我试图在这里模仿命令: curl --data-binary "@image.png" -H "Content-Type: application/octet-stream" -X POST -u login:password http ..
发布时间:2021-12-08 23:13:04 Python

使用 urllib2 - Python 2.7 登录网站

好的,所以我将它用于 reddit 机器人,但我希望能够弄清楚如何登录任何网站.如果这有意义.... 我意识到不同的网站使用不同的登录表单等.那么我如何弄清楚如何为每个网站优化它?我假设我需要在 html 文件中寻找一些东西,但不知道是什么. 我不想使用 Mechanize 或任何其他库(这是这里所有其他答案的内容,实际上并没有帮助我了解正在发生的事情),因为我想自己了解它究竟是如何一 ..
发布时间:2021-12-08 12:25:36 Python

Python urllib2 基本身份验证问题

更新:根据 Lee 的评论,我决定将我的代码压缩为一个非常简单的脚本并从命令行运行它: 导入 urllib2导入系统用户名 = sys.argv[1]密码 = sys.argv[2]url = sys.argv[3]print("用 %s 调用 %s:%s\n" % (url, username, password))passman = urllib2.HTTPPasswordMgrWithDe ..
发布时间:2021-11-30 17:46:32 Python

使用 API 密钥进行 Urllib2 身份验证

我正在尝试连接到 radian6 api,这需要 auth_appkey、auth_user和 auth_pass 作为 md5 加密. 当我尝试使用 telnet 连接时,我可以成功获得响应 xml telnet sandboxapi.radian6.com 80正在尝试 142.166.170.31...连接到sandboxapi.radian6.com.转义字符是“^]".GET/s ..
发布时间:2021-11-15 21:08:29 Python

python pandas 雅虎股票数据错误

我正在尝试通过 yahoo 提取日内 aapl 股票数据.但是我的程序遇到了问题.. 将pandas导入为pd导入日期时间导入 urllib2导入 matplotlib.pyplot 作为 pltget = 'http://chartapi.finance.yahoo.com/instrument/1.0/aapl/chartdata;type=quote;range=1d/csv'getdat ..
发布时间:2021-09-15 18:41:15 Python

Python urllib2.urlopen 在 URL 中带有 @ 符号

我正在使用 Python 并且有一个我正在尝试使用的 URL 像这样 https://[username@domain.com]:[password]@domain.com/blah 这是我的代码: response =urllib2.urlopen("https://[username@domain.com]:[password]@domain.com/blah")html = respo ..
发布时间:2021-09-15 18:41:12 Python

Python:打开带重音的 URL

在 Python 2.7 中,我想打开一个包含重音符号的 URL(链接本身,而不是它指向的页面).如果我使用以下内容: #!/usr/bin/env Python# -*- 编码:utf-8 -*-导入 urllib2测试 = "https://www.notifymydevice.com/push?ApiKey=K6HGFJJCCQE04G29OHSRBIXI&PushTitle=Les%20 ..
发布时间:2021-09-15 18:41:09 Python

URLError: <urlopen error [Errno 11004] getaddrinfo failed>

我实际上正在编写代码来检查链接是直接链接还是错误链接或重定向或文件下载链接 当我写这些行时 导入 urllib2response = urllib2.urlopen('http://google.com') 我收到如下错误: 回溯(最近一次调用最后一次):文件“",第 1 行,在 中response = urllib2.urlopen('http ..
发布时间:2021-09-15 18:41:06 Python