在Python中获取使用Javascript生成的页面 [英] Get page generated with Javascript in Python

问题描述

我想下载由 Javascript 生成的网页，并将其存储在 Python 代码中的字符串变量中。当您点击按钮时，会生成该页面。

I'd like to download web page generated by Javascript and store it to string variable in Python code. The page is generated when you click on button.

如果我知道生成的URL，我将使用 urllib2 这不是这种情况。

If I would know the resulting URL I would use urllib2 but this is not the case.

谢谢

推荐答案

请使用 Selenium Webdriver ：

#!/usr/bin/env python
from contextlib import closing
from selenium.webdriver import Firefox # pip install selenium
from selenium.webdriver.support.ui import WebDriverWait

# use firefox to get page with javascript generated content
with closing(Firefox()) as browser:
     browser.get(url)
     button = browser.find_element_by_name('button')
     button.click()
     # wait for the page to load
     WebDriverWait(browser, timeout=10).until(
         lambda x: x.find_element_by_id('someId_that_must_be_on_new_page'))
     # store it to string variable
     page_source = browser.page_source
print(page_source)

这篇关于在Python中获取使用Javascript生成的页面的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！