php - 爬虫获取AJax数据问题
本文介绍了php - 爬虫获取AJax数据问题的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
想写一个爬取花瓣网图片的爬虫。遇到了Ajax获取数据的问题
图片中的请求的URL,Response的文本类型是json
可当我单独访问这个url的时候却是html
求教,怎么获取json数据
解决方案
这个是用header来控制的
你把对应的请求头加上就好了。附上我的代码
#coding=utf-8
import requests as RQ
hburl = "http://huaban.com/boards/28195582/?ipva9fpx&max=759391397&limit=20&wfl=1"
heads = {
'Host':"huaban.com",
'Referer':"{http://huaban.com/boards/28195582/",
'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36",
'X-Request':"JSON",
'X-Requested-With':"XMLHttpRequest"
}
print RQ.get(hburl, headers=heads).content
这篇关于php - 爬虫获取AJax数据问题的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文