javascript - 使用ruquest爬取某些豆瓣页面总是返回404？

问题描述

问 题

应该不是封IP的缘故吧？request某些豆瓣电影页面总是会返回404，但同一时间段request其他页面都是返回正常的。
比如 request ‘https://movie.douban.com/subj...’ 就总是会返回404
但是在同一时间段request ‘https://movie.douban.com/subj...’ 返回是正常的
哪位能够帮忙解答一下？

解决方案

你是否设置了头部？豆瓣某些页面需要游客cookie才可以访问，你的爬虫如果直接孔cookie请求可能会被拦截。你最好通过requests等库维持一个cookie会话

这篇关于javascript - 使用ruquest爬取某些豆瓣页面总是返回404？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！