python - 2亿++的网址，怎样快速确认网页状态码?

问题描述

问 题

用requests写了个多线程，感觉有点慢，还有其他方法么？

解决方案

使用 Tornado 的 curl 客户端支持，读到请求头就关闭连接。（我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话，可以像我这样使用 TCP 然后用 http-parser 来解析。）

好吧，其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……（记得装 pycurl 哦）

这篇关于python - 2亿++的网址，怎样快速确认网页状态码?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！