python - selenium或request获取网页内容

查看:782
本文介绍了python - selenium或request获取网页内容的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

问 题

目标是获取历史上某天是否是节假日,主要是国内假期会根据农历进行调整。
思路:基于某万年历网页获取具体日期的放假情况。
问题:
直接访问链接,默认显示当天信息。 切换日期时 url不变。

request 返回的jason对象只返回类似元旦这样的固定节假日,并没有返回前后两天的国家调休假期。

切换月份的时候,这个request URL直接用于python urllib request urlopen没有效果。
request URL要怎么处理?或者说用 selenum webdriver更方便?

my code

url = 'http://union2.50bang.org/web/ajax29?uId2=SPTNPQRLSX&r=http://tools.2345.com/rili.htm&fBL=1920*1080&lO=javascript:;?nytjsplit=http://tools.2345.com/rili.htm'
request_obj = rq.Request(url, headers={'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'})
file_str = rq.urlopen(request_obj).read().decode('gb2312')
print (file_str)

解决方案

这些应该是js前端生成的,json请求过来的应该是每年的日历和具体的确定的元旦,建军节等等。所以看不到。
1.查看下js代码,这个时间成本高一些。
2.根据http://www.gov.cn/zhengce/con... 自己对应出一个字典。每年更新一次还是可以接受的吧。
3.更换一个万年历的网站,可能会给出调休的日期。

这篇关于python - selenium或request获取网页内容的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆