pyspider - 抓取任何网站 HTTPError: HTTP 599: Resolving timed out
本文介绍了pyspider - 抓取任何网站 HTTPError: HTTP 599: Resolving timed out的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
Traceback (most recent call last):
File "D:\Program Files (x86)\python\python3.5-32\lib\site-packages\pyspider-0.3.7-py3.5.egg\pyspider\libs\base_handler.py", line 188, in run_task
result = self._run_task(task, response)
File "D:\Program Files (x86)\python\python3.5-32\lib\site-packages\pyspider\libs\base_handler.py", line 167, in _run_task
response.raise_for_status()
File "D:\Program Files (x86)\python\python3.5-32\lib\site-packages\pyspider\libs\response.py", line 190, in raise_for_status
raise http_error
requests.exceptions.HTTPError: HTTP 599: Resolving timed out after 20000 milliseconds
1抓取任何域名都是,用ip抓取没问题。
2应该是dns的问题吧,可是浏览器直接打开网址没问题。
3直接调用urllib.request.Request抓取没问题。
会不会是内置的requests抓取问题?
win10系统,python(3.5),pyspider(0.3.7)
之前升级了0.3.8,结果出现其他问题(https://segmentfault.com/q/10...)
**最新发现:我把联通换成电信网络,问题解决。感觉是我本地联通的dns有问题,偶尔会劫持放广告,可能和这个有关!
2.也可以试试禁用其他不用的网络连接,比如你用wifi上网,就禁用本地连接。
**
解决方案
你好!我今天也遇到这个问题,经过千百次不同的尝试,终于发现了问题所在。只需禁用你当前所使用的网络的ipv6访问即可
这篇关于pyspider - 抓取任何网站 HTTPError: HTTP 599: Resolving timed out的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文