网页爬虫 - 用python selenium抓取携程信息
本文介绍了网页爬虫 - 用python selenium抓取携程信息的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
最近在学习selenium,遇到一个很奇怪的问题,debug了半天还是没弄明白,我是在测试抓取携程网站的机票信息
我的代码:
# -*- coding: utf-8 -*-
from selenium import webdriver
import time
from lxml import etree
#在订票页面http://flights.ctrip.com/
driver = webdriver.Chrome()
driver.get('http://flights.ctrip.com/')
time.sleep(1)
element_time = driver.find_element_by_id('DepartDate1TextBox')
element_time.send_keys(u'2016-07-22')
element_arr = driver.find_element_by_id('ArriveCity1TextBox')
element_arr.send_keys(u'北京')
element_depart = driver.find_element_by_id('DepartCity1TextBox')
element_depart.send_keys(u'南京')
driver.find_element_by_id('search_btn').click()
#点击click事件后,页面其实是跳转到http://flights.ctrip.com/domestic/Search/FirstRoute/?DCity1=NKG&ACity1=BJS&DDate1=2016-07-22
time.sleep(1)
print driver.current_url
#点击重新搜索
driver.find_element_by_id('btnReSearch').click()
print driver.current_url
for i in range(3):
js = 'window.scrollTo(0,100000)'
time.sleep(1)
driver.execute_script(js)
time.sleep(1)
html_text = driver.page_source
selector = etree.HTML(html_text)
outer_div = selector.xpath('//div[@class="search_box search_box_tag "]')
driver.quit()
print outer_div
然后就是我对这小块代码的调试时
发现得到的结果
是一致的,但是,但是,当我再次debug时,或者运行时
发现取不到数据,经过很多次测试,发现一半时候取到,一半时候取不到,后面我去掉driver.quit()调试发现
同样的url,但是div出现2个不一样的,导致抓取不到,所以我很奇怪为什么会出现这种问题
解决方案
使用selector.xpath('//div[contains(@class,"search_box search_box_tag")]')
试试?
这篇关于网页爬虫 - 用python selenium抓取携程信息的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文