urllib2相关内容

Python:urllib2.HTTPError:HTTP 错误 300:多项选择

我有一个脚本,它在网页文本页面中查找信息,然后将它们存储在字典中.该脚本在列表中查找 URL,然后循环处理它们,但是它在此错误的过程中被中断: 回溯(最近一次调用最后一次):文件“",第 3 行,在 中文件“/usr/lib/python2.7/urllib2.py",第 126 行,在 urlopenreturn _opener.open(url, data, ..
发布时间:2021-09-15 18:41:02 Python

如何调用 urllib2 get_header 方法?

我正在调查 python urllib2 下载大小 问题. 尽管 RanRag 或 jterrace 建议的方法对我来说效果很好,但我想知道如何使用 urllib2.Request.get_header 方法实现相同.所以,我尝试了以下代码行: >>>导入 urllib2>>>req_info = urllib2.Request('http://mirror01.th.ifl.net/re ..
发布时间:2021-09-15 18:40:59 Python

urllib2.urlopen('ur') 给出错误

我是 Python 新手,正在尝试提取页面的内容.当我执行 urlopen('http://www.google.com') 时,出现以下错误: 文件“",第1行,在中文件“/usr/lib/python2.7/urllib2.py",第 126 行,在 urlopenreturn _opener.open(url, data, timeout)文件“/usr/lib/python2.7/url ..
发布时间:2021-09-15 18:40:56 Python

更改 urllib2 的 IP 地址

我正在尝试更改我的简单 python 代码连接到我的网站的 IP 地址. 将 urllib.request 导入为 urllib2#修改IP地址page = urllib2.urlopen("http://example.com/").read() 是否有可以轻松启用它的 python 库?以便连接到站点的用户显示不同的位置. 例如,我想使用 IP 地址:118.69.140.108 和 ..
发布时间:2021-09-15 18:40:54 Python

Python urllib2 库是否使用 Windows 上的 IE 代理设置默认值?

我注意到 urllib2 库使用了我的 IE 代理设置.对此有官方解释吗? 非常感谢. 解决方案 参见 urllib2 关于 ProxyHandler 的部分. 默认是从环境变量_proxy中读取代理列表.如果没有设置代理环境变量,在 Windows 环境中,代理设置从注册表的 Internet 设置部分获取,而在 Mac OS X 环境中,代理信息从 OS X 系统配置框架中 ..
发布时间:2021-09-15 18:40:51 Python

在 Python 中使用 Selenium 抓取 Google 图片

现在,我一直在尝试使用以下代码抓取谷歌图片: from selenium import webdriverfrom selenium.webdriver.common.by import By从 selenium.webdriver.common.keys 导入密钥导入操作系统导入时间进口请求进口重新导入 urllib2进口重新从线程导入线程导入json#假设我有一个名为 Pictures1 的 ..
发布时间:2021-09-15 18:40:45 Python

urllib2.URLError: urlopen 错误没有给出主机

根据下面的代码,我将拉取请求编号保存在一个文本文件中,我想将它们上传到我的代码中的 url,但我收到了标题中提到的错误. 导入 urllib2导入json导入 httplibdef event_spider(org,repo):尝试:nbPrequest_reopened=0 #重新打开的拉取请求数量页数=1而页面 ..
发布时间:2021-09-15 18:40:42 Python

损坏的 zip 下载 urllib2

我正在尝试使用以下代码从 measurehs.com 下载 zip 文件: url ='https://dhsprogram.com/customcf/legacy/data/download_dataset.cfm?Filename=BFBR62DT.ZIP&Tp=1&Ctry_Code=BF'请求 = urllib2.urlopen(url)output = open("install.zi ..
发布时间:2021-09-15 18:40:39 Python

Urlopen [Errno -2] Python

我开发了一部分从网络抓取中使用的代码: link = 'http://www.cmegroup.com'+div.findAll('a')[3]['href']user_agent = 'Mozilla/5.0'headers = {'User-Agent':user_agent}req = urllib2.Request(link, headers=headers)页面 = urllib2.u ..
发布时间:2021-09-15 18:40:36 Python

使用 urllib2 read() 时出现 HTTPError

我正在尝试使用 urllib2 和 BeautifulSoup 抓取网页.它工作正常,然后当我在代码的不同部分放入 input() 以尝试调试某些内容时,我收到了 HTTPError.当我再次尝试运行我的程序时,我在尝试调用 read() 时遇到了 HTTPError.错误堆栈如下: [2013-07-17 16:47:07,415: ERROR/MainProcess] 任务 program. ..
发布时间:2021-09-15 18:40:30 Python

使用 python urllib2.open 时出现 HTTP 500 错误

代码就像.网址是我的博客,我想获取和备份我的博客文章.我的其他博文一切顺利,但这篇博文返回 500 错误. usock = urlopen("http://xiaoshuaistudio.ycool.com/post.4606754.html")htmlSource = usock.read()usock.close() 你能帮我弄清楚如何调试 HTTP 500 错误吗? 解决方案 页 ..
发布时间:2021-09-15 18:40:27 Python

线程化 HTTP 请求(使用代理)

我看过类似的问题,但对于使用 HTTP 处理线程的最佳方式似乎总是存在很多分歧. 我特别想做的事情:我使用的是 Python 2.7,我想尝试处理 HTTP 请求(特别是 POST 一些东西),每个请求都有一个 SOCKS5 代理.我的代码已经工作,但速度很慢,因为它在开始另一个请求之前等待每个请求(到代理服务器,然后是 Web 服务器)完成.每个线程很可能会使用不同的 SOCKS 代理发出 ..
发布时间:2021-09-15 18:40:24 Python

如何使用 Python 从客户端 OAuth 流中以编程方式检索 access_token?

这个问题是发布在 StackApps 上,但问题可能是与其说是身份验证问题,不如说是编程问题,因此它可能应该在这里得到更好的位置. 我正在为 StackOverflow 开发桌面收件箱通知程序,使用 API 和 Python. 我正在处理的脚本首先将用户登录到 StackExchange,然后请求对应用程序的授权.假设应用程序已通过用户的 Web 浏览器交互获得授权,应用程序应该能够通 ..
发布时间:2021-09-15 18:40:18 Python

尝试在Python中使用urllib2访问互联网

我正在尝试编写一个程序,该程序将(除其他外)从预定网站获取文本或源代码.我正在学习 Python 来做到这一点,大多数消息来源都告诉我使用 urllib2.作为测试,我尝试了以下代码: 导入 urllib2response = urllib2.urlopen('http://www.python.org')html = response.read() shell 只是坐在那里,就像在等待一些输 ..
发布时间:2021-09-15 18:40:15 Python

使用 Python 抓取网页

我正在尝试使用 urllib2 和 BeautifulSoup 抓取网站 http://www.nseindia.com.不幸的是,当我尝试通过 Python 访问页面时,我不断收到 403 Forbidden.我认为这是一个用户代理问题,但改变它并没有帮助.然后我认为这可能与 cookie 有关,但显然通过关闭 cookie 的链接加载页面工作正常.什么可能会阻止通过 urllib 的请求? ..
发布时间:2021-09-15 18:40:12 Python

为什么这个请求不起作用?

我想使用 Twitter API 制作一个简单的愚蠢的 Twitter 应用程序. 如果我从浏览器请求此页面,它确实可以工作: http://search.twitter.com/search.atom?q=hello&rpp=10&page=1 但是如果我使用 urllib 或 urllib2 从 python 请求这个页面,大多数时候它不起作用: response = urllib ..
发布时间:2021-09-15 18:40:09 Python

即使设置了超时,Python urllib2.urlopen 也会无限地冻结脚本

函数 urllib2.urlopen 冻结.所以我的问题很简单: 为什么即使设置了超时,urlopen 仍会永远冻结我的脚本? 如何访问 URL 上的数据(在本例中:http://api.own3d.tv/live?channel=FnaticTV) 而我的 Python 进程不可能永远冻结?​​ 这是冻结的部分(在 own3d.py 中): #尝试3次联系为真:尝试:# 连接AP ..
发布时间:2021-09-15 18:40:02 Python

Python - urllib2 超时

下面是我的代码片段 opener = urllib2.build_opener(redirect_handler.MyHTTPRedirectHandler())opener.addheaders = [('接受编码', 'gzip')]fetch_timeout = 12self.response = opener.open(url, timeout=fetch_timeout) 然而,它的 ..
发布时间:2021-09-15 18:39:59 Python