python lxml解析中文的问题
本文介绍了python lxml解析中文的问题的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
使用lxml来抓取中文字符,抓到的结果很蛋疼,不知道怎么处理...
comUrl="http://m.51job.com/search/codetail.php?coid=4108723"
res=requests.get(comUrl)
html=etree.HTML(res.text)
p=html.xpath("//aside")[1].xpath("./p") #结果为[<Element p at 0x7bf01c8>, <Element p at 0x78f4408>, <Element p at 0x69db388>]
p[0].xpath("./span/text()") #这个是想要抓取的字符
结果抓到的是这样的 [u'\xe6\x80\xa7\xe8\xb4\xa8']
unicode但是内容是str的编码,请问怎么把这个东西转成中文?
正常应该是'\xe6\x80\xa7\xe8\xb4\xa8'或者u'\u6027\u8d28'
解决方案
出现这种情况,一般是requests猜错了网页的编码了
因此指定requests的编码就可以了.
res.encoding ='utf-8'
In [33]: comUrl="http://m.51job.com/search/codetail.php?coid=4108723"
...: res=requests.get(comUrl)
...: res.encoding ='utf-8'
...: html=etree.HTML(res.text)
...: p=html.xpath("//aside")[1].xpath("./p") #结果为[<Element p at 0x7b
...: f01c8>, <Element p at 0x78f4408>, <Element p at 0x69db388>]
...: p[0].xpath("./span/text()") #这个是想要抓取的字符
...:
Out[33]: [u'\u6027\u8d28']
In [34]: print _[0]
性质
这篇关于python lxml解析中文的问题的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文