php - 爬虫的参数问题
本文介绍了php - 爬虫的参数问题的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
现在再做一个爬虫,但是有一个问题,通过浏览器的开发工具找到了请求,但是模拟传入POST总是不对,这是这个请求的参数
主要是想请教一下query string parameters和formdata,这两个参数有什么区别,之前做的爬虫参数都在formdata里,直接按照格式提交参数就成功了,也就没有太在意,但是今天这个页面的爬虫时总是不成功,不是很明白为什么,请有经验的大神指点一二
解决方案
query string parameters
是GET
请求,formdata
则POST
请求。 请求的时候有点差别,比如:
#对GET:
url = 'http://www.example.com
data ={
a: b,
}
get_url = url + urllib.urlencode(data)
urllib2.urlopen(urllib2.Request(get_url)
#对于POST
url = 'http://www.example.com
data={
a: b
}
urllib2.urllopen(urllib2.Request(url, data=data)
# 对于GET+POST的, 直接把POST的url 改为 urlencode之后的,即可
这篇关于php - 爬虫的参数问题的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文