python爬虫 - Python:网页爬取Ajax地址，结果与浏览器显示的不一致？

问题描述

问 题

1.我用在火狐上获取的Ajax地址来爬取统计局的信息：

获取的地址如下;

http://data.stats.gov.cn/easy...{"wdcode":"zb","valuecode":"A0201"}]&dfwds=[{"wdcode":"sj","valuecode":"199807"}]

我的理解是地址中包含了两个参数："A0201"和"199807"
可以通过改变着两个参数来获取不同表中不同时间的信息
我在浏览器中直接输入地址
参数为"199807"时显示结果为：

参数为"199907"时显示结果为：

证明应该是行得通的

但是当我用这个地址去爬虫时爬下来的结果却不是浏览器上看到的这些数据，应该是爬取到了别的表里的数据，但是我的参数不是已经设置好了吗？在浏览器也证明参数是有效的，但是为什么就是爬不到这些数据？是不是网页缓存方面出现了问题？应该如何解决呢？劳烦大神指教

解决方案

server端可以验证你的cookie从而将你拒之门外，或者返回其他错误数据给你也是可以的，你可以从浏览器复制出来里伪造cookie，放在请求头里面。

这篇关于python爬虫 - Python:网页爬取Ajax地址，结果与浏览器显示的不一致？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！