网页爬虫 - 淘宝python爬虫

问题描述

问 题

在爬天猫数据的时候出现Redirect Limits的报错，猜测是302一直跳转的问题？

然后试着模拟了cookie，发现有三个值是必须要有的

cookie2=; t=; _tb_token_=

但是苦于这三个值不知道如何获取，所以部署到线上就出错了，有高手知道如何解决吗？谢谢

解决方案

先拉一下天描的主页把cookie存下来，再去访问具体的页面

import requests
session = requests.Session()
session.headers = {'user-agent': '填写你的浏览器值'}
session.get('店铺首页')

r = session.get('具体要访问的页面')
printr.text

这篇关于网页爬虫 - 淘宝python爬虫的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！