python - requests如何在不下载响应体的情况下重用连接？

问题描述

问 题

实际需求场景是想让爬虫只通过检验http的返回码，以此校验之前下载的某个资源是否还在线；因为并不需要下载响应体，所以使用了requests的Session对象并在动词方法中添加了stream = True的参数，如下：

    s = requests.Session()
    s.mount('http://', requests.adapters.HTTPAdapter(pool_connections=1, pool_maxsize=1))
    for i in range(20):
        url = "http://www.site.com/resources/%s" % i
        with closing(s.get(url, allow_redirects = False, stream = True)) as r:
            print r.status_code

因为启用了stream = True模式，未下载响应体的情况下，连接不会关闭，肯定是无法重用连接池中的连接了，可是强制关闭连接的话，日志输出是这样：

INFO - connectionpool.py[249] - Resetting dropped connection: www.site.com

感觉这个Resetting dropped connection跟文档里写的不太一致呢？ requests的文档中写道：

如果你在请求中把 stream 设为 True，Requests 无法将连接释放回连接池，除非你 消耗了所有的数据，或者调用了 Response.close。

文档说关闭响应后Requests应该被释放回连接池，但实际上它是被关闭然后再需要时被重新设置了，跟不加stream = True参数时，无缝重用似乎是不一样的。

那么究竟该怎么做才能做到既不下载相应体，又能重用连接呢？还有关闭请求、关闭连接应该是一回事吧？

解决方案

没太看懂问题，但是根据需求，可以看下HTTP 协议的 HEAD 方法

这篇关于python - requests如何在不下载响应体的情况下重用连接？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！