python-requests相关内容

请求 - 代理字典

我对请求模块感到困惑,特别是代理。 来自文件: PROXIES 字典映射协议到代理的URL(例如{'http': 'foo.bar:3128'})用于每个请求。 / p> 字典中有一种类型的代理吗?我的意思是有可能放在代理列表和请求模块将尝试他们,只使用那些工作? 或者只能有一个代理地址,例如 http ? 解决方案 使用代理参数受限于python字典(即每 ..
发布时间:2016-12-28 16:10:53 Python

Python请求:.pem - > .crt +键

我已经获得了一个.pem文件,用于在XML POST API上进行身份验证。我更喜欢使用Python请求,并在文档中找到我需要将.pem文件转换为服务器认证和密钥。我一直无法找到请求需要什么(什么样的认证)。 我不得不对文件做一些openssl转换,但我没有专家。任何人都可以解释请求需要什么样的证书和密钥,以及如何将.pem转换成这些文件? 有关更多上下文,请参阅 http://doc ..
发布时间:2016-11-15 19:46:55 IT认证

Python请求 - 客户端证书的SSL错误

我使用python中的请求调用REST API,到目前为止,当我设置 verify = False 时,它已成功。 现在,我必须使用客户端证书,我需要导入身份验证,我得到这个错误每次我使用 cert(.pfx)。 cert.pfx 是受密码保护的。 r = requests.post(url,params = headers = headers, data = payload,ve ..
发布时间:2016-11-15 19:10:58 Python

如何使用python请求和事件钩子编写一个web回调函数的回调函数?

我最近看过 python-requests 模组,我想撰写一个简单的web爬行器。给定一个开始url的集合,我想写一个Python函数,搜索其他urls的起始url的网页内容,然后再次调用相同的函数作为回调与新的urls作为输入,等等。起初,我认为事件挂钩将会正确的工具为此目的,但其文档部分是相当稀疏。在另一页我读到用于事件钩子的函数必须返回传递给它们的同一个对象。所以事件钩子显然不可行这种任务。 ..
发布时间:2016-11-10 10:43:04 Python

是否有可能"传输" selenium.webdriver和requests.session之间的会话

在理论上,如果我复制所有的cookie硒的的webdriver 对象 requests.Session 对象,将请求能够继续作为如果会话不中断? 具体来说,我感兴趣的是写自动化在那里我得到特定位置上通过硒的网页,然后在一定的下载链接传递给要求,它会下载并验证出文件的特定字节,有时一个完整的文件。 (下载的文件的价值将改变根据我的硒交互) 解决方案 是的,它肯定会工作。继code段应有所帮 ..
发布时间:2016-08-15 14:37:28 Python

要使用Python和放大器拉从RCSB页面期刊称号; BeautifulSoup

我试图获取有关只给出蛋白质的4信PDBID在蛋白质数据银行原来的引用文件的具体信息。 要做到这一点,我现在用的是Python库请求和BeautifulSoup。尝试建立code,我去页为特定的蛋白质,在这种情况下1K48,同时也节省了页面的HTML(通过按命令+ S并保存HTML到我的桌面)。 首先要注意的事项: 1),该页面的网址是: HTTP://www.rcsb .ORG / PDB ..

BeautifulSoup:刮痧有源$ C ​​$ C组相同的属性不同的数据集

我使用的是从一个Twitter帐户的追随者刮的总数和鸣叫总数的 BeautifulSoup 模块。然而,当我试图检查各自领域的内容网页上,我发现,无论是场被封闭内同一组HTML属性: 关注 <一类=“ProfileNav-STAT ProfileNav-STAT - 链路U-borderUserColor U-textCenter JS-提示JS-NAV U-textUserColor ..
发布时间:2016-08-05 19:19:24 Python

刮'N'与Beautifulsoup和请求的页面(如何获得真实页码)

我要得到所有的标题()在网站上。 http://www.shyan.gov.cn/zwhd/web/webindex.action 现在,我的code成功擦伤只有一个页面。不过,也有在现场可用的多个页面上面,我想凑。 例如,上面的网址,当我点击链接“第2页”,整体的网址不会改变。我看了看页面的源代码,看到的javascript code前进到下一个页面是这样的:JavaScript的:Go ..
发布时间:2016-08-05 19:11:31 Python

为什么Python中坚持使用ASCII?

当与解析请求和美丽的汤HTML文件,下面一行是在一些网页抛出一个异常: 如果STR(tag.string)“VAR”: 下面是上下文: =响应requests.get(URL) 汤= bs4.BeautifulSoup(response.text.en code(“UTF-8”))在soup.findAll('脚本')标签: 如果STR(tag.string)“VAR”:#这是抛出异 ..
发布时间:2016-08-05 19:11:03 Python

使用python + beautifulSoup4从动态图形刮数据

我需要实现数据从动态图形刮任务,并提取数据。图为随时间类似,如果你看一个公司的股票的图表,你会发现什么更新。我使用的请求,并在python beautifulsoup4库,但我只是想出如何刮文本和链接数据。似乎无法弄清楚如何我可以得到图的值到CSV文件 问题的图表可以发现 - 的http://www.apptrace.com/app/instagram/id389801252/ranks/top ..
发布时间:2016-08-05 19:10:03 Python

如何下载链接刮[python]的PDF文件?

我正在制作PDF网站刮板Python编写的。从本质上讲,我试图刮掉所有的讲义,从我的课程,这是在PDF的形式之一。我想输入一个URL,然后得到的PDF文件,并​​将它们保存在我的笔记本电脑的目录。我看过几个教程,但我不完全知道如何去这样做。对StackOverflow的问题似乎都不需要任何帮助我。 下面是我到目前为止有: 进口要求 从BS4进口BeautifulSoup 进口shutilBS ..

在UTF-8字符编码问题

我通过 a.get使用美丽的汤库('href“属性)从一个网页的链接。在链接有一个奇怪的字符®但是当我成为®。我怎样才能连接code得当?我在页的开头已经添加了# - * - 编码:UTF-8 - * - R = requests.get(URL)汤= BeautifulSoup(r.text) 解决方案 待办事项的不的使用 r.text ;离开解码到 BeautifulSoup : ..
发布时间:2016-08-05 19:08:53 Python

麻烦的请求/美丽的汤

我想学习使用Python的SOM网络的特点,我想我会写一个脚本在我的大学登录到网页练习。起初,我写了使用的urllib2 的code,但用户alecxe好心使用请求给我提供了一个code / BeautifulSoup (请参见: ..
发布时间:2016-08-05 19:08:31 Python