python - pyspider 遇到防爬页面怎么处理？

问题描述

问 题

1. 遇到页面防爬，返回页面说需要验证是否是机器人输入验证码这种情况要怎么处理？这时候这个页面返回的是200，爬虫认为正常爬过页面了，但是实际并没有获得有效数据。
   是通过判断抓没抓到数据，然后抛异常重新爬吗？这种情应该怎么处理

不知道我通过抛异常重爬这种方法是否正确？

解决方案

抛出异常，让 pyspider 自己重试（前提是没被封 ip）

这篇关于python - pyspider 遇到防爬页面怎么处理？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！