python-requests相关内容

lxml/requests 可以选择下拉选项然后解析生成的ajax吗?

我有一个要测试的网站,虽然我可以在下拉列表中获得选项列表,但我不确定如何选择它?没有提交按钮,所以如果我选择它,那么它会在下面加载一个 ajax 表. 我只是不确定 lxml/requests 是否可以做到这一点,或者如何做到这一点?如果有人可以确认或知道可以执行此操作的功能,我将不胜感激? 编辑:我的网站是内部网站,无法访问,但这里有一个示例网站:https://www.tsx.co ..
发布时间:2021-12-31 20:16:43 Python

使用“加载更多结果"抓取页面按钮

我正在尝试使用 requests 和 BeautifulSoup/Lxml 抓取以下页面 https://www.reuters.com/search/news?blob=soybean&sortBy=date&dateRange=all 这种页面具有加载更多结果按钮.我找到了几页解释如何执行此操作的页面,但不在 requests 的框架内. 我知道我应该多花几个小时研究这个问题, ..
发布时间:2021-12-31 20:16:17 Python

使用请求(或其他库)以 CSV 格式访问公共 Google 表格的内容

我编写了一个小型 Python 程序,可以处理来自 CSV 文件的数据.我正在跟踪谷歌工作表中的一些数字,并通过下载谷歌工作表创建了 CSV 文件.我试图找到一种方法让 python 直接从谷歌表格读取 CSV 文件,这样我在更新电子表格时就不必下载新的 CSV. 我看到 requests 库可能能够处理这个问题,但我很难弄清楚.我选择不尝试 google API,因为只要我不介意将工作表公 ..
发布时间:2021-12-31 20:16:04 Python

Python 请求多部分 HTTP POST

我想知道您如何使用 Python 请求翻译这样的内容?在 urllib2 中,您可以手动操作通过线路发送到 API 服务的数据,但 Requests 声称分段文件上传很容易.但是,当尝试使用 Requests 库发送相同的请求时,我相信它没有正确地为两个部分中的每一个指定内容类型中的一些关键参数.有人可以对这个问题有所了解.提前谢谢你! def upload_creative(self, acc ..
发布时间:2021-12-31 20:15:58 Python

使用Python请求时如何获取底层socket

我有一个 Python 脚本,它使用 requests 库创建了许多短期的同时连接.我特别需要找出每个连接使用的源端口,我想我需要为此访问底层套接字.有没有办法通过响应对象得到这个? 解决方案 对于流连接(使用 stream=True 参数打开的连接),您可以调用 .raw.fileno() 响应对象上的方法来获取打开的文件描述符. 您可以使用 socket.fromfd(...) ..
发布时间:2021-12-31 20:15:31 Python

通过 Python 请求模块发出 HTTP 请求无法通过 curl 的代理工作?为什么?

使用此 curl 命令,我能够从 Bash 获得我正在寻找的响应 curl -v -u z:secret_key --proxy http://proxy.net:80 \-H "内容类型:应用程序/json" https://service.com/data.json 我已经看过另一篇关于代理的帖子请求模块 它帮助我用 Python 制定了我的代码,但我需要通过代理发出请求.但是,即使 ..
发布时间:2021-12-31 20:15:24 Python

python请求将字符串作为文件发送

在我的代码中,我目前正在将一个文件分块并将其读取到一个临时文件中,然后将此临时文件传递到请求中.有没有办法仍然发送这个 with open(full_path, 'r+b') as f:我=0而真:块 = f.read(max_chunk_size)如果不是块:休息使用 tempfile.TemporaryFile() 作为 t:t.write(块)t.seek(0)r = requests. ..
发布时间:2021-12-31 20:15:02 Python

发送同步请求python(一次全部)

我正在尝试创建一个脚本,可以同时向一个页面发送 1000 多个请求.但是请求带有线程 (1000) 个线程的库.似乎在 1 秒内完成了前 50 个左右的请求,而其他 9950 个则需要更长的时间.我是这样测量的. def print_to_cmd(string):queueLock.acquire()打印字符串queueLock.release()开始 = time.time()resp = r ..
发布时间:2021-12-31 20:14:43 Python

安装 Python 请求

所以我正在尝试使用 pip 下载请求,但出现以下错误.我已经检查了错误日志,但对我来说基本上无法理解. 有什么建议吗?尝试将 pip 用于 beautifulsoup4 时,我遇到了类似的问题. ~ ∴ pip 安装请求下载/解包请求下载 requests-2.2.1-py2.py3-none-any.whl (625kB):已下载 625kB安装收集的包:请求打扫干净...例外:回溯(最 ..
发布时间:2021-12-31 20:14:36 Python

Python Requests 包中的 URI 编码

我正在使用 python requests 包从 API 获取结果,并且 URL 包含 + 登录.但是当我使用 requests.get 时,请求失败,因为 API 无法理解 + 符号.如果我用 %2B(URI 编码)替换 + 符号,请求就会成功. 有没有办法对这些字符进行编码,以便我在将 URL 传递给请求包时对其进行编码 错误:test user@gmail.com 不存在API:ht ..
发布时间:2021-12-31 20:14:23 Python

为什么我经常看到“重置断开的连接"?将数据上传到我的数据库时?

我正在通过 REST API 从 Heroku 上的云服务器向 AWS EC2 中的数据库上传数亿个项目.我正在使用 Python,并且经常在日志中看到以下 INFO 日志消息. [requests.packages.urllib3.connectionpool] [INFO] 重置断开的连接: 在我的代码再次继续执行之前,这种“重置断开的连接"似乎需要很多秒(有时超过 30 秒). 首 ..
发布时间:2021-12-31 20:14:07 Python

如何在 python 中抓取完整的 Instagram 页面?

长话短说,我正在尝试创建一个 Instagram python 抓取工具,它加载整个页面并抓取所有指向图像的链接.我让它工作了,唯一的问题是,它只加载了 Instagram 显示的原始 12 张照片.无论如何我可以告诉请求加载整个页面吗? 工作代码; 导入json进口请求从 bs4 导入 BeautifulSoup导入系统r = requests.get('https://www.inst ..
发布时间:2021-12-31 20:13:59 Python

我无法通过请求登录 Instagram

我一直在尝试使用 Requests 库登录 Instagram,但无法正常工作.连接总是被拒绝. 导入请求#创建 URL、usr/pass 和用户代理变量BASE_URL = 'https://www.instagram.com/'LOGIN_URL = BASE_URL + 'accounts/login/ajax/'用户名 = '*****'密码 = '*****'USER_AGENT = ..
发布时间:2021-12-31 20:13:49 Python

如何处理python请求中的401(未经授权)

我想要做的是从站点获取 GET,如果该请求返回 401,则重做我的身份验证摆动(可能已过时)并重试.但是我不想第三次尝试,因为那将是我的身份验证摆动具有错误的凭据.有没有人有这样做的好方法,它不涉及适当的丑陋代码,最好是在 python 请求库中,但我不介意改变. 解决方案 我认为没有比这更丑陋的了: 导入请求从 requests.auth 导入 HTTPBasicAuthrespons ..
发布时间:2021-12-31 20:13:42 Python