python爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？

问题描述

问 题

1.抓取到一个错误的URl

2.我的比蠢笨的办法：

解决方案

curl里面有个可以设置返回header的，如果取到的数据非200状态，直接跳过处理就好了。

这篇关于python爬取页面时，一个URL无法访问导致报错，然后跳过这个报错继续抓取？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！