html - 正则表达式 python爬虫
本文介绍了html - 正则表达式 python爬虫的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
import urllib.request
req = urllib.request.urlopen('http://search.jd.com/Search?k...')
req
Out[3]: <http.client.HTTPResponse at 0x52bf6d8>
buf = req.read()
buf = buf.decode('utf-8')
urllist = re.findall(r'//img.+.png',buf)
这样正常显示.png结尾的图片网址
urllist = re.findall(r'//img.+.jpg',buf)
也基本正常
urllist = re.findall(r'//img.+.(png|jpg)',buf)
这样只能显示一串图片的格式,像这样:
'.jpg',
'.jpg',
'.png',
'.jpg',
'.jpg',
'.jpg',
'.jpg',
'.jpg',
'.jpg',
这是为什么呢?
解决方案
主要是因为, 当你没加()
时, re.findall
会将匹配的全部打印出来, 但是如果你加了()
, 它就会打印匹配中, 被()
捕获的结果, 所以你看到一堆的jpg/png
, 正因为这样, 所以我们需要用()
将这个匹配的链接都捕获起来, 这样才能打印, 同时要用(?:jpg|png)
, 因为这个地方需要的是匹配jpg或者png
, 所以我们需要用非捕获的分组语法.
# 代码修改
urllist = re.findall(r'(//img.+?.(?:png|jpg))',buf)
关于更多关于捕获分组/非捕获分组
, 可以参考: 链接描述
这篇关于html - 正则表达式 python爬虫的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文