javascript - 为什么用Beautifulsoup无法提取微博粉丝列表的page数

问题描述

问 题

用python写小脚本想爬取新浪科技的粉丝http://weibo.com/1642634100/fans，先要获得粉丝页数，用chrome看到的html结构如下：

写的脚本如下，获得的list为空

def getFansPage(urlfans):
    req = urllib2.Request(urlfans, headers=headers)
    time.sleep(sletime)
    html_sample = exceptRequest(req).read()
    # 分析得到pagenum所在属性
    soup = BeautifulSoup(html_sample,'html.parser')
    pagenum = soup.find_all("a",class_="page prev S_txt1 S_line1 page_dis")
    return pagenum

后来发现这样连都是空的：

pagenum = soup.find_all("a",class_="WB_frame")

这是为什么呢？

解决方案

直接看网页的源码

class="page prev S_txt1 S_line1 page_dis" 在页面刚加载的时候是 在script标签里的

你应该用正则去匹配

这篇关于javascript - 为什么用Beautifulsoup无法提取微博粉丝列表的page数的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！