python - 如何爬取豆瓣电影的详细信息

查看:258
本文介绍了python - 如何爬取豆瓣电影的详细信息的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

问 题

我想爬取每个电影的制片国家地区,但是它上面并不在一个标签里面应该怎么办

我用的是request和BeautifulSoup

res2=requests.get(h2)
res2.encoding='utf-8'
soup2=BeautifulSoup(res2.text)

这部分是已经获取该网页

解决方案

参考以下代码:

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import re
import requests
from bs4 import BeautifulSoup

result = requests.get('https://movie.douban.com/subject/3541415/')
result.encoding = 'utf-8'
soup = BeautifulSoup(result.text, 'html.parser')

try:
    info = soup.select('#info')[0]
    print re.findall(ur'(?<=制片国家/地区: ).+?(?=\n)', info.text)[0]
except Exception, e:
    print e

这篇关于python - 如何爬取豆瓣电影的详细信息的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆