urllib相关内容
from bs4 import BeautifulSoup导入 urllib,sys重新加载(系统)sys.setdefaultencoding("utf-8")r = urllib.urlopen('https://twitter.com/ndtv').read()汤 = BeautifulSoup(r) 这不会让我把整个网页向下滚动到我想要的末尾,而只会滚动其中的一部分. 编辑: f
..
我正在尝试向以下页面发出 POST 请求:http://search.cpsa.ca/PhysicianSearch 为了模拟点击“搜索"按钮而不填写任何表单,从而向页面添加数据.我通过在 Chrome 开发者工具中查看网络选项卡时单击按钮获得了 POST 标头信息.我发布这个而不是仅仅从其他类似问题中复制解决方案的原因是我相信我可能没有得到正确的标题信息. 它的格式是否正确,我是否获
..
我已经看过这个帖子 - 如何取消缩短网址? 我对已解决答案的问题(即使用 unshort.me API)是我专注于取消缩短 youtube 链接.由于 unshort.me 很容易使用,这会返回几乎 90% 的带有验证码的结果,我无法解决. 到目前为止,我坚持使用: def unshorten_url(url):解析 URL = urllib2.urlopen(url)打印已解析的U
..
背景:我正在使用 urllib.urlretrieve,而不是 urllib* 模块中的任何其他函数,因为钩子函数支持(见下面的 reporthook).. 用于显示一个文本进度条.这是 Python >=2.6. >>>urllib.urlretrieve(url[, 文件名[, 报告钩子[, 数据]]]) 然而,urlretrieve 非常愚蠢,以至于无法检测 HTTP 请求的状态(例
..
如果我有一个 URL,当在 Web 浏览器中提交时,会弹出一个对话框来保存 zip 文件,我将如何在 Python 中捕获和下载此 zip 文件? 解决方案 如果可用,大多数人建议使用 requests,而 requests 文档 建议使用此方法从 url 下载和保存原始数据: 导入请求def download_url(url, save_path, chunk_size=128):r
..
如果我这样做 url = “http://example.com?p=";+ urllib.quote(查询) 它不会将 / 编码为 %2F(破坏 OAuth 规范化) 它不处理 Unicode(它会引发异常) 有更好的图书馆吗? 解决方案 Python 2 来自文档: urllib.quote(string[, safe]) 替换字符串中的特殊字符使用 %xx 转义
..
为了下载文件,我创建了一个 urlopen 对象(urllib2 类)并分块读取. 我想多次连接到服务器并在六个不同的会话中下载文件.这样做,下载速度应该会更快.许多下载管理器都有此功能. 我想过在每个会话中指定我想要下载的文件部分,并以某种方式同时处理所有会话.我不确定如何实现这一目标. 解决方案 听起来您想使用 可用的 HTTP 范围. edit 更新了指向 w3.o
..
我正在尝试使用 urllib 从网站下载 pdf 文件.这是我目前得到的: 导入urllibdef download_file(download_url):web_file = urllib.urlopen(download_url)local_file = open('some_file.pdf', 'w')local_file.write(web_file.read())web_file.c
..
我正在使用 urllib.urlencode 来构建 Web POST 参数,但是如果存在除 None 以外的值,我只想添加一些值. apple = 'green'橙色 = '橙色'参数 = urllib.urlencode({'苹果':苹果,'橙色':橙色}) 这很好用,但是如果我将 orange 变量设为可选,如何防止它被添加到参数中?像这样(伪代码): apple = 'green'橙
..
我使用的是 Python 3,并且正在尝试从网站检索数据.但是,这些数据是动态加载的,我现在的代码不起作用: url = eveCentralBaseURL + str(mineral)打印(“网址:%s"%网址);响应 = request.urlopen(url)数据 = str(response.read(10000))data = data.replace("\\n", "\n")打印(数
..
我正在尝试使用 urllib.request.urlopen() 打开一个网站(我在公司代理后面),但出现错误: urllib.error.HTTPError:HTTP 错误 407:需要代理身份验证 我可以在 urllib.request.getproxies() 中找到代理,但是如何指定用于它的用户名和密码?我在官方文档中找不到解决方案. 解决方案 import urllib.re
..
在我的项目中,我使用 python requests 图书馆. 现在,我需要使用特定的 DNS 查询 http 服务器 - 有两个环境,每个环境都使用自己的 DNS,并且更改是独立进行的. 因此,当代码运行时,它应该使用特定于环境的 DNS,而不是我的互联网连接中指定的 DNS. 有没有人用 python-requests 试过这个?我只找到了 urllib2 的解决方案: h
..
我对 python 的 urllib 很陌生.我需要做的是为发送到服务器的请求设置一个自定义标头.具体来说,我需要设置 Content-type 和 Authorizations 标头.我查看了 python 文档,但找不到. 解决方案 使用 添加 HTTP 标头urllib2: 来自文档: 导入 urllib2req = urllib2.Request('http://www.e
..
我正在尝试使用 python 自动下载历史股票数据.我尝试打开的 URL 以 CSV 文件响应,但我无法使用 urllib2 打开.我已经尝试按照之前几个问题中的说明更改用户代理,我什至尝试接受响应 cookie,但没有成功.你能帮忙吗. 注意:同样的方法适用于雅虎财经. 代码: import urllib2,cookielibsite= "http://www.nseindia.c
..
我正在使用以下代码使用 Python 保存网页: 导入urllib导入系统从 bs4 导入 BeautifulSoupurl = 'http://www.vodafone.de/privat/tarife/red-smartphone-tarife.html'f = urllib.urlretrieve(url,'test.html') 问题:此代码将 html 保存为基本 html,没有 j
..
请原谅我丑陋的英语;-) 想象一下这个非常简单的模型: class Photo(models.Model):image = models.ImageField('标签', upload_to='path/') 我想从图像 URL 创建一张照片(即,不是在 django 管理站点中手动创建). 我认为我需要做这样的事情: from myapp.models import Photo
..
如果这是一个愚蠢的问题,我深表歉意,但我一直在尝试自学如何使用 BeautifulSoup,以便我可以创建一些项目. 我正在关注此链接作为教程:https://www.youtube.com/watch?v=5GzVNi0oTxQ 在按照与他完全相同的代码之后,这是我得到的错误: 回溯(最近一次调用最后一次):文件“/Library/Frameworks/Python.framewo
..
我想使用 python 模块“urllib.request"从 url 下载图像文件,该模块适用于某些网站(例如 mangastream.com),但不适用于另一个(mangadoom.co)接收错误“HTTP 错误 403": 禁止".后一种情况可能有什么问题以及如何解决? 我在 OSX 上使用 python3.4. import urllib.request# 不起作用img_url
..
我有一个小实用程序,用于按计划从网站下载 MP3 文件,然后构建/更新已添加到 iTunes 的播客 XML 文件. 创建/更新 XML 文件的文本处理是用 Python 编写的.但是,我在 Windows .bat 文件中使用 wget 来下载实际的 MP3 文件.我更喜欢用 Python 编写整个实用程序. 我一直在努力寻找一种在 Python 中实际下载文件的方法,因此我求助于使
..
from urllib.request import urlopen从 bs4 导入 BeautifulSouphtml= urlopen("http://www.pythonscraping.com/pages/page3.html")汤= BeautifulSoup(html.read())打印(soup.find("img",{"src":"../img/gifts/img1.jpg"}).
..