urllib相关内容

Python urllib 缓存

我正在用 Python 编写一个脚本来确定它是否可以访问互联网. 导入urllibCHECK_PAGE = "http://64.37.51.146/check.txt"CHECK_VALUE = "真\n"PROXY_VALUE = "隐私"OFFLINE_VALUE = ""page = urllib.urlopen(CHECK_PAGE)响应 = page.read()page.close ..
发布时间:2021-09-15 18:32:49 Python

urllib2.HTTPError:HTTP 错误 400:错误请求 - Python

我正在尝试使用 urllib 和 urllib2 进行 POST,但它一直给我这个错误 回溯(最近一次调用最后一次): 中的文件“/Users/BaDRaN/Desktop/untitled text.py",第 39 行响应 = urllib2.urlopen(请求)文件“/System/Library/Frameworks/Python.framework/Versions/2.7/lib ..
发布时间:2021-09-15 18:32:46 Python

web2py url 验证器

在由 web2by 构建的缩短器中,我想首先验证 url,如果它无效,则返回第一页并显示错误消息.这是我在控制器 (mvc arch.) 中的代码,但我不明白出了什么问题..!! 导入urllib定义索引():返回字典()def random_maker():url = request.vars.url尝试:urllib.urlopen(url)返回 dict(rand_url = ''.joi ..
发布时间:2021-09-15 18:32:44 Python

Python3 urllib 图像检索

我正在编写一个小的 Python 脚本来通过谷歌图片抓取图片.我已经设法使事情达到了在一个方便的列表中我想要的图像的网址的程度.现在,我只需要抓住它们... 对于每个图片网址,我都这样做: print("Retrieving:{0}".format(sFinalImageURL))sExt = sFinalImageURL.split('.')[-1]#u = urllib.reques ..
发布时间:2021-09-15 18:32:41 其他开发

从经过身份验证的站点获取文件(使用 python urllib、urllib2)

我正在尝试从站点获取查询的 excel 文件.当我输入直接链接时,它会进入一个登录页面,一旦我输入了我的用户名和密码,它将继续自动下载 Excel 文件.我试图避免安装不属于标准 python 的附加模块(此脚本将在“标准化机器"上运行,如果未安装该模块,它将无法工作) 我尝试了以下操作,但我在 excel 文件中看到了“页面登录"信息:-| 导入urlliburl = "myLink_q ..
发布时间:2021-09-15 18:32:38 Python

使用 urllib 在 python 中删除换行符

我使用的是 Python 3.x.在使用 urllib.request 下载网页时,我收到了很多 \n 介于两者之间.我正在尝试使用论坛其他线程中给出的方法将其删除,但我无法这样做.我使用过 strip() 函数和 replace() 函数......但没有运气!我在 Eclipse 上运行此代码.这是我的代码: 导入 urllib.request#下载整个Web文档def download_p ..
发布时间:2021-09-15 18:32:35 Python

Python 的 urllib2 在某些站点上不起作用

我发现您无法使用 Python 的 urllib2(或 urllib)从某些站点读取数据.一个例子... urllib2.urlopen("http://www.dafont.com/").read()# 返回 '' 当您使用浏览器访问网站时,这些网站会正常工作.我什至可以使用 PHP 抓取它们(没有尝试其他语言).我在其他网站上看到过同样的问题 - 但目前不记得网址. 我的问题是... ..
发布时间:2021-09-15 18:32:32 Python

如何使用python从Intranet站点抓取URL数据?

我需要一个 Python Warrior 来帮助我(我是菜鸟)!我正在尝试使用模块 urllib 从内部网站抓取某些数据.但是,由于我公司的网站仅供员工查看而不向公众开放,因此我想这就是我获得此代码的原因: IOError: ('http 错误', 401, '未授权', ) 我是怎么解决这个问题的?它甚至不会使用 htmlfile.read() 读取网站 获取公共站点的示例代码: ..
发布时间:2021-09-15 18:32:29 Python

Python3:使用 urllib 时出现 HTTP 错误 302

我想从网站上读取不同股票的价值.因此我写了这个小脚本,它读取页面源代码,然后解析出值: stock_reader.py #!/usr/bin/env python3# -*- 编码:utf-8 -*-从重新导入搜索从 urllib 导入请求定义主():链接 = [['CSG','瑞银',],['http://www.tradegate.de/orderbuch.php?isin=CH001 ..
发布时间:2021-09-15 18:32:24 Python

捕获 http 错误

例如,如何在 python 和 urllib(2) 中捕获页面的 404 和 403 错误? 有没有大类包装器的快速方法? 添加信息(堆栈跟踪): 回溯(最近一次调用最后一次):文件“test.py",第 3 行,在 中page = urllib2.urlopen("http://localhost:4444")文件“/usr/lib/python2.6/urlli ..
发布时间:2021-09-15 18:32:18 Python

为什么 urllib.urlopen.read() 与源代码不对应?

我正在尝试获取以下网页: 导入urlliburllib.urlopen("http://www.gallimard-jeunesse.fr/searchjeunesse/advanced/(order)/author?catalog[0]=1&SearchAction=1").read() 结果与我使用谷歌浏览器检查网页源代码时看到的不符. 你能告诉我为什么会发生这种情况以及我如何改进我 ..
发布时间:2021-09-15 18:32:15 Python

Python 请求错误 10060

我有一个抓取网站的脚本.直到今天它运行完美,但是现在不这样做了. 它给我以下错误: Connection Aborted Error(10060 '连接尝试失败,因为连接方在一段时间后没有正确响应,或者因为连接的主机没有响应而建立连接失败' 我一直在寻找答案和设置,但我不知道如何解决这个问题... 在 IE 中我没有使用任何代理(连接 -> 局域网设置 -> 代理 = 已禁用) ..
发布时间:2021-09-15 18:32:09 Python

将 URL 请求的内容写入文件

我正在尝试使用 python 从 php 文件中获取列表并将其保存到文件中: 导入 urllib.requestpage = urllib.request.urlopen('http://crypto-bot.hopto.org/server/list.php')f = open("test.txt", "w")f.write(str(page))f.close()打印(page.read()) ..
发布时间:2021-09-15 18:32:06 Python

在 Python 3 中使用 urllib 的 socket ResourceWarning

我正在使用 urllib.request.urlopen() 从我要测试的网络服务中获取数据. 这将返回一个 HTTPResponse 对象,然后我 read() 以获取响应正文. 但我总是从 socket.py 看到一个关于未关闭套接字的 ResourceWarning 相关函数如下: from urllib.request import 请求,urlopendef get_ ..
发布时间:2021-09-15 18:32:04 Python

令人讨厌的 CryptographyDeprecationWarning 因为到处都缺少 hmac.compare_time 函数

事情进展顺利,直到我的一个项目开始在任何地方打印此文件,在每次执行的顶部,至少一次: local/lib/python2.7/site-packages/cryptography/hazmat/primitives/constant_time.py:26: CryptographyDeprecationWarning: 不推荐使用对 Python 版本的支持.下一个版本的密码学将取消支持.请尽快 ..
发布时间:2021-09-15 18:32:01 Python

使用请求库临时检索图像

我正在编写一个网页抓取工具,只需要从网址中抓取图片的缩略图. 这是我使用的函数,urllib 库. def create_thumb(self):如果 self.url 而不是 self.thumbnail:图像 = urllib.request.urlretrieve(self.url)# 创建维度大小的缩略图大小 = 350, 350t_img = Imagelib.open(imag ..
发布时间:2021-09-15 18:31:58 Python

Python urllib urlopen 不起作用

我只是想通过使用 urllib 模块从实时网络中获取数据,所以我写了一个简单的例子 这是我的代码: 导入urllib袜子 = urllib.request.urlopen("http://diveintopython.org/")htmlSource = sock.read()袜子.关闭()打印 (htmlSource) 但是我得到了如下错误: 回溯(最近一次调用最后一次):文件“D: ..
发布时间:2021-09-15 18:31:52 Python