urllib2相关内容

如何优雅地中断 urllib2 下载?

我正在使用 urllib2 的 build_opener() 创建一个 OpenerDirector.我正在使用 OpenerDirector 来获取一个缓慢的页面，因此它有一个很大的超时时间. 到目前为止，一切都很好. 但是，在另一个线程中，我被告知要中止下载 - 假设用户已选择退出 GUI 中的程序. 有没有办法通知 urllib2 下载应该退出? 解决方案 没有明确 ..
发布时间：2021-07-05 18:50:36 Python

需要为 Python 3.5.1 安装 urllib2

我正在为 Mac 运行 Python 3.5.1.我想使用 urllib2 模块.我尝试安装它，但我被告知它已被拆分为 urllib.request 和 urllib.error for Python 3. 我的命令(现在从框架 bin 目录运行，因为它不在我的路径中): sudo ./pip3 install urllib.request 返回: 找不到满足要求的版本 urllib. ..
发布时间：2021-06-28 19:17:33 Python

在使用 Python 无头抓取时填充字段的 Selenium/Webdriver 替代方案?

在 Python 2.7 中，我使用 urllib2 进行抓取，当需要一些 Xpath 时，也使用 lxml.它快速，而且因为我很少需要在网站上浏览，所以这种组合效果很好.但有时，通常当我到达一个页面时，该页面只会在填写简短表格并单击提交按钮时显示一些有价值的数据(example)，仅使用 urllib2 的抓取方法是不够的. 每次遇到这样的页面时，我都可以调用 selenium.webdr ..
发布时间：2021-06-26 19:27:13 Python

如何使用python获取隐藏输入的值?

如何从html页面获取输入值 喜欢 我有输入名称 [ name="captId" ] 并且需要他的值 import re , urllib , urllib2a = urllib2.urlopen('http://www.example.com/','').read() 谢谢 更新 1 我安装了 BeautifulSoup 并使用了它，但出现了一些错误 代码 ..
发布时间：2021-06-26 18:58:45 Python

使用python访问具有PKI安全性的站点

我有一个启用了 PKI 安全性的站点.每个客户端使用读卡器加载他们的证书，或者证书安装在他们盒子上的 IE 证书存储中. 所以我的问题是: 如何使用读卡器证书或系统中存储的证书来验证系统? 如何将凭据传递到网站上说，嘿，我是我，我可以访问该服务?他们的例子可以是使用软证书.我可以稍后弄清楚读卡器部分. 我一直在四处寻找，但在这种情况下我没有想出任何可以帮助我的东西.Django ..
发布时间：2021-06-26 18:55:17 Python

使用身份验证从 https 下载文件

我有一个 Python 2.6 脚本，可以从 Web 服务器下载文件.我希望此脚本传递用户名和密码(用于在获取文件之前进行身份验证)，并将它们作为 url 的一部分传递，如下所示: 导入 urllib2response = urllib2.urlopen("http://'user1':'password'@server_name/file") 但是，在这种情况下，我遇到了语法错误.这是正确的 ..
发布时间：2021-06-26 18:31:30 Python

Python 3 urllib 产生 TypeError: POST data should be bytes or an iterable of bytes.它不能是 str 类型

我正在尝试将可用的 Python 2.7 代码转换为 Python 3 代码，但我收到来自 urllib 请求模块的类型错误. 我使用内置的 2to3 Python 工具来转换以下工作 urllib 和 urllib2 Python 2.7 代码: 导入 urllib2导入 urlliburl = "https://www.customdomain.com"d = dict(paramet ..
发布时间：2021-06-25 20:48:44 Python

在 urllib2.request() 调用上设置超时

我需要在 urllib2.request() 上设置超时. 我不使用 urllib2.urlopen() 因为我使用了 request 的 data 参数.我该如何设置? 解决方案 虽然 urlopen 确实接受 data param for POST，你可以调用urlopen 在像这样的 Request 对象上， 导入 urllib2request = urllib2.Reque ..
发布时间：2021-06-25 20:47:02 Python

将 urllib2 与 SOCKS 代理一起使用

是否可以通过每个 opener basic 的一台袜子服务器上的 SOCKS 代理使用 urllib2 获取页面?我已经看到使用 setdefaultproxy 方法的解决方案，但我需要在不同的开瓶器中使用不同的袜子. 所以有 SocksiPy 库，效果很好，但必须这样使用: 进口袜子进口插座socket.socket = 袜子.socksocket导入 urllib2socks.setd ..
发布时间：2021-06-25 20:44:50 Python

urllib2 文件名

如果我使用 urllib2 打开一个文件，如下所示: remotefile = urllib2.urlopen('http://example.com/somefile.zip') 除了解析原始 URL 之外，还有其他简单的方法来获取文件名吗? 编辑:将 openfile 更改为 urlopen...不知道是怎么发生的. EDIT2:我最终使用了: filename = url. ..
发布时间：2021-06-25 20:41:39 Python

urllib2.URLError: <urlopen error [Errno 11004] getaddrinfo failed>

如果我跑: urllib2.urlopen('http://google.com') 即使我使用另一个网址，也会出现同样的错误. 我很确定我的计算机或路由器上没有运行防火墙，而且互联网(通过浏览器)运行良好. 解决方案 就我而言，问题在于某些安装在某个时候在我的机器上定义了一个环境变量 http_proxy，而我没有代理人. 删除 http_proxy 环境变量解决了问题. ..
发布时间：2021-06-25 20:31:29 Python

urllib2 HTTP 错误 400:错误请求

我有一段这样的代码 host = 'http://www.bing.com/search?q=%s&go=&qs=n&sk=&sc=8-13&first=%s' %(查询，页面)req = urllib2.Request(host)req.add_header('User-Agent', User_Agent)响应 = urllib2.urlopen(req) 当我输入一个比“狗"这样的词多的 ..
发布时间：2021-06-25 20:28:10 Python

如何在 python 中使用 urllib2 加快获取页面的速度?

我有一个脚本可以获取多个网页并解析信息. (一个例子可以在 http://bluedevilbooks 上看到.com/search/?DEPT=MATH&CLASS=103&SEC=01 ) 我在它上面运行了 cProfile，正如我所假设的，urlopen 占用了很多时间.有没有办法更快地获取页面?或者一次获取多个页面的方法?我会做最简单的事情，因为我是 Python 和 Web ..
发布时间：2021-06-25 20:23:08 Python

使用 urllib2 进行 POST 调用而不是 GET

关于 urllib2 和 POST 调用有很多内容，但我遇到了一个问题. 我正在尝试对服务进行简单的 POST 调用: url = 'http://myserver/post_service'data = urllib.urlencode({'name' : 'joe','年龄':'10'})content = urllib2.urlopen(url=url, data=data).rea ..
发布时间：2021-06-25 20:15:47 Python

TOR 上的 Python urllib?

示例代码: #!/usr/bin/python进口袜子进口插座导入 urllib2socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS4，“127.0.0.1"，9050，真)socket.socket = 袜子.socksocket打印 urllib2.urlopen("http://almien.co.uk/m/tools/net/ip/").read() ..
发布时间：2021-06-25 20:13:51 Python

从 pythonanywhere 打开 url

这段代码在我的本地机器上运行良好，但是当我在 pythonanywhere.com 上上传并运行它时，它给了我这个错误. 我的代码: url = "http://www.codeforces.com/api/contest.list?gym=false"hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.1 ..
发布时间：2021-06-25 20:11:00 Python

请求，绑定到一个 ip

我有一个使用 urllib2 发出一些请求的脚本. 我使用堆栈溢出其他地方建议的技巧来绑定另一个IP到应用程序，我的电脑有两个 IP 地址(IP A 和 IP B). 我想改用requests 图书馆.有谁知道我如何使用该库实现相同的功能? 解决方案 查看 requests 模块，看起来它使用 httplib 发送 http 请求.httplib 使用 socket.creat ..
发布时间：2021-06-25 20:08:07 Python