网页爬虫 - python3爬链家utf8页面，中文全部是“南京小区二手房(南京链家网)”

问题描述

问 题

练习爬虫，抓取链家页面信息，链家页面是utf-8，print出来后中文乱码

import requests
from bs4 import BeautifulSoup

url = 'http://nj.lianjia.com/xiaoqu/'
html = requests.get(url)
soup = BeautifulSoup(html.text,'lxml')
title = soup.title.get_text()
print(title)

得到的是南京小区二手房(南京链家网)这玩意，请问如何能正常显示中文？

解决方案

# -*- coding: utf-8 -*-


import requests
from bs4 import BeautifulSoup

url = 'http://nj.lianjia.com/xiaoqu/'
html = requests.get(url)
soup = BeautifulSoup(html.text.encode(html.encoding), 'lxml', from_encoding='utf-8')
title = soup.title.get_text()
print(title)

1) 加 # -- coding: utf-8 --声明
2) 正确的处理返回的response的编码

这篇关于网页爬虫 - python3爬链家utf8页面，中文全部是“南京小区二手房(南京链家网)”的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！