为什么我的程序在urllib3日志启动新的HTTPS连接后挂起？
我正在尝试诊断一个问题，其中我的一些芹菜工作进程似乎挂起了几分钟。我有许多任务需要进行几个IO调用(通常是对第三方API)。在任何给定的工作中，我可能会向各种API发出数千个请求。我看过这些日志，它们没有什么共同之处：它们在urllib3连接到远程url后挂起。 在我的作业结束时(大约需要30分钟)，通常有几个任务处于挂起状态。 以下是我用来得出urllib3是罪魁祸首的日志示例：
..
urllib3相关内容
为 sslv3 问题修补 pyopenssl
我在使用 python 2.7.9-2 amd64 的 Debian 8 系统上遇到问题: marius@pydev:/usr/lib/python2.7/dist-packages/urllib3/contrib$ pip search doo回溯(最近一次通话最后):文件“/usr/bin/pip"，第 9 行，在 load_entry_point('pip==1.5.6'
..
诗歌安装- ConnectionError |无法建立新连接:[Errno 101] Network is unreachable' [已解决]
我正在使用 诗歌版本 1.1.7. 运行 poetry install 会产生此错误. 这可以通过 bash 解决还是明确与我的网络有关?注意:互联网连接在浏览器中非常好. me@LAPTOP-G1DAPU88:~/.ssh/workers-python/workers/CompositeKey/CompositeKey$ 诗歌安装更新依赖项解决依赖关系...(225.5s)连接错误
..
urllib3 connectionpool - 连接池已满，丢弃连接
看到了 urllib3.connectionpool 警告 - 连接池已满，正在丢弃连接 意味着我实际上正在丢失数据(因为失去连接) 或 是否意味着连接被丢弃(因为池已满)；但是，当连接池可用时，稍后会重新尝试相同的连接? 解决方案 没有数据丢失！ 连接被丢弃在请求完成后(因为池已满，如前所述).这意味着这个特定的连接将来不会被重复使用. 由于 urllib3 Pool
..
urllib3.exceptions.ProtocolError: ('Connection aborted.', error(10054, '现有连接被远程主机强行关闭'))
我正在尝试使用 Python Selenium chromedriver 在 chrome 上打开一个网站.Chrome 浏览器正在打开(带有警告)并且 url 没有打开. 版本详情:Chrome:68.0.3440.106硒:3.14.0铬驱动程序:2.20蟒蛇:2.7 我正在使用以下代码: 导入时间从硒导入网络驱动程序进口硒driver = webdriver.Chrome("C
..
为什么我经常看到“重置断开的连接"?将数据上传到我的数据库时?
我正在通过 REST API 从 Heroku 上的云服务器向 AWS EC2 中的数据库上传数亿个项目.我正在使用 Python，并且经常在日志中看到以下 INFO 日志消息. [requests.packages.urllib3.connectionpool] [INFO] 重置断开的连接: 在我的代码再次继续执行之前，这种“重置断开的连接"似乎需要很多秒(有时超过 30 秒). 首
..
如何使用python请求执行限时响应下载?
在用python下载大文件的时候，我不仅要对连接过程设置时间限制，还要对下载设置时间限制. 我正在尝试使用以下 python 代码: 导入请求r = requests.get('http://ipv4.download.thinkbroadband.com/1GB.zip', timeout = 0.5, prefetch = False)打印 r.headers['content-len
..
requests.adapters.HTTPAdapter 中的 pool_connections 是什么意思?
初始化请求的Session时，两个HTTPAdapter 将被创建和 挂载到 http 和 https. HTTPAdapter 是这样定义的: class requests.adapters.HTTPAdapter(pool_connections=10, pool_maxsize=10,max_retries=0, pool_block=False) 虽然我理解 pool_maxsi
..
为什么请求会引发此异常“check_hostname 需要 server_hostname"?
p={'http':'http://这里是我的正确代理','https':'https://这里是我的正确代理'}self.response=requests.get(url=url,headers=self.headers,timeout=(6,15),proxys=p) 然后它引发异常: 回溯(最近一次调用最后一次):文件“C:\Users\xyl13509876955\Desktop\M
..
在 Google App Engine 中使用 Requests python 库
我正在尝试在 Google App Engine 上使用很棒的 Requests 库.我找到了请求依赖的 urllib3 补丁，它与 App Engine 兼容.https://github.com/shazow/urllib3/issues/61 我可以成功 导入请求 然后 response = requests.get('someurl') 因以下回溯而失败.怎么回事? 回溯(
..
urllib3.exceptions.ProtocolError: ('Connection aborted.', error(10054, '一个现有的连接被远程主机强行关闭'))
我正在尝试使用 Python Selenium chromedriver 在 chrome 上打开一个网站.Chrome 浏览器正在打开(有警告)，但 url 未打开. 版本详情:Chrome:68.0.3440.106硒:3.14.0铬驱动程序:2.20蟒蛇:2.7 我正在使用以下代码: 导入时间从硒导入网络驱动程序进口硒driver = webdriver.Chrome("C:/
..
MaxRetryError: HTTPConnectionPool: Max retries exceeded (Caused by ProtocolError('Connection aborted.', error(111, 'Connection denied')))
我有一个问题:我想测试“选择"和“输入".我可以像下面的代码一样编写它:原始代码: 12类Sinaselecttest(unittest.TestCase):1314 定义设置(自我):15 binary = FirefoxBinary('/usr/local/firefox/firefox')16 self.driver = webdriver.Firefox(firefox_binary=
..
使用 urllib3 进行多部分表单编码和发布
我正在尝试将 csv 文件上传到 本网站.但是，我遇到了一些问题，我认为这源于不正确的mimetype(可能). 我正在尝试通过 urllib2 手动发布文件，因此我的代码如下所示: 导入urllib导入 urllib2导入 mimetools, mimetypes导入操作系统，统计从 cStringIO 导入 StringIO#============================#
..
使用 Python 将字符串列表转换为 URL 列表
我有一个字符串列表(实际上是 URL) ['https://part.of.url/P2000-01.xls','https://part.of.url/P2001-02.xls','https://part.of.url/P2002-03.xls','https://part.of.url/P2003-04.xls','https://part.of.url/P2004-05.xls','ht
..
使用 urllib 会导致 SSL 错误
使用 urllib 运行请求但不断收到此错误: 回溯(最近一次调用最后一次):文件“/Library/Frameworks/Python.framework/Versions/3.6/lib/python3.6/urllib/request.py"，第 1318 行，在 do_openencode_chunked=req.has_header('传输编码'))文件“/Library/Framew
..
计算网页内的单词
我需要使用 python3 计算网页中的单词.我应该使用哪个模块?网址库? 这是我的代码: def web():f =("urllib.request.urlopen("https://americancivilwar.com/north/lincoln.html")lu = f.read()打印(卢) 解决方案 通过下面的自我解释代码，您可以获得一个很好的起点来计算网页中的字数:
..
urllib3 最大重试错误
我刚刚开始使用 urllib3，我马上就遇到了一个问题.根据他们的手册，我从一个简单的例子开始: Python 2.7.1+ (r271:86832, 2011 年 4 月 11 日，18:13:53)[GCC 4.5.2] 在 linux2 上输入“帮助"、“版权"、“信用"或“许可"以获取更多信息.>>>导入 urllib3>>>>>>http = urllib3.PoolManager()
..
令人讨厌的 CryptographyDeprecationWarning 因为到处都缺少 hmac.compare_time 函数
事情进展顺利，直到我的一个项目开始在任何地方打印此文件，在每次执行的顶部，至少一次: local/lib/python2.7/site-packages/cryptography/hazmat/primitives/constant_time.py:26: CryptographyDeprecationWarning: 不推荐使用对 Python 版本的支持.下一个版本的密码学将取消支持.请尽快
..
连接池已满，通过Selenium和Python丢弃与ThreadPoolExecutor和多个无头浏览器的连接
我正在使用 selenium==3.141.0、python 3.6.7、chromedriver 2.44 编写一些自动化软件. 大部分逻辑都可以由单个浏览器实例执行，但对于某些部分，我必须启动 10-20 个实例才能获得不错的执行速度. 一旦涉及到由 ThreadPoolExecutor 执行的部分，浏览器交互开始抛出此错误: WARNING|05/Dec/2018 17:33:
..
忽略 SSL 证书验证的含义是什么?
我对 Python 的请求库中的 SSL 验证有疑问，但我认为这比这更笼统. 我目前忽略证书验证，因为我需要连接的第三方 API 使用的是自签名证书. 在请求中关闭 SSL 验证有什么影响?以及在现实世界中不验证 SSL 证书的含义是什么.我可以保证传输的数据是安全/加密的吗? 解决方案 这是一个安全问题，因为任何人都可以欺骗此证书并拦截您的流量.您应该只将自签名证书添加到使用
..