网页爬虫 - python访问次数过于频繁被域名限制访问

问题描述

问 题

今天学习Python爬虫的时候，对于某个的域名访问次数有点多，到最后导致整个公司ping这个域名都出现超时（一个科技资讯网站，我也是非恶意）。想了解是否我的访问被视为了DDOS攻击而被这个网站限制访问了？能否稍微介绍一下Python爬虫如何避免被视为DDOS攻击？

解决方案

一般这种情况时，我会先到 VPS 上 ping 一下目标域名，看看是不是他家网站挂了……

如果他确实是把你的 IP 屏了，那你就挂 HTTP 代理去爬吧。HTTP 可以买，也可以到网上找免费的。

这篇关于网页爬虫 - python访问次数过于频繁被域名限制访问的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！