html - Python2 BeautifulSoup 提取网页中的表格数据及连接

问题描述

问 题

网址：http://quote.eastmoney.com/ce...
要做的是提取网页中的表格数据（如：板块名称，及相应链接下的所有个股，依然是个表格）

暂时只写了这些代码：
import urllib2
from bs4 import BeautifulSoup

url='http://quote.eastmoney.com/ce...'

req=urllib2.Request.(url)
page=urllib2.urlopen(req)

soup=BeautifulSoup(page)
table = soup.find("table")

但是table里面没有内容，也就是完全没找到，这是怎么回事啊。po是小白，希望大神们可以多多指教,谢谢！

解决方案

因为是异步加载，数据在这里
http://nufm.dfcfw.com/EM_Fina...

# coding:utf-8

import requests

r = requests.get('http://nufm.dfcfw.com/EM_Finance2014NumericApplication/JS.aspx?type=CT&cmd=C._BKGN&sty=FPGBKI&st=c&sr=-1&p=1&ps=5000&token=7bc05d0d4c3c22ef9fca8c2a912d779c&v=0.12043042036331286')
data = [_.decode('utf-8').split(',') for _ in eval(r.text)]

url = 'http://quote.eastmoney.com/center/list.html#28003{}_0_2'
lst = [(url.format(_[1].replace('BK0', '')), _[2]) for _ in data]
print lst

这篇关于html - Python2 BeautifulSoup 提取网页中的表格数据及连接的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！