python - 关于爬取网站,下载图片的时候碰到网址结构问题卡住

查看:405
本文介绍了python - 关于爬取网站,下载图片的时候碰到网址结构问题卡住的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

问 题

下载图片的时候很容易碰到下载了几张之后碰到图片的链接里面含有/时会出现:
FileNotFoundError: [Errno 2] No such file or directory:

例如:
图一:http://gnondgnoqnioandiofnas_swn_ssy_mhtng.jpg
图二:http://asnoqenconvoqenripetn_swn_ssy_mhtng.jpg
图三:http://asdnioqnoqwrqwenoqwr/12345/123/1256.gif

 
for item in download_link:
    urllib.request.urlretrieve(item,folder_path + item[-19:])
    time.sleep(2)
    print('Done')
    

运行到图三的时候就中断了,我的理解是因为图三的地址有/,造成文件夹之后再次进入子文件夹进不去,所以出错。

(1)想请问下怎么样能跳过这个文件,继续下载后面的图片
(2)或者说有什么办法能直接把这个图三直接下载了

解决方案

urlretrieve第二个参数是文件名,文件名里面是不允许有斜杠的,可以这样做:

urllib.request.urlretrieve(item,folder_path + item.split('/')[-1])

这篇关于python - 关于爬取网站,下载图片的时候碰到网址结构问题卡住的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆