windows - Python 超大 listdir 的问题。

查看:145
本文介绍了windows - Python 超大 listdir 的问题。的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

问 题

一个目录有50W个文件,而且是局域网共享目录,延迟较高。
直接os.listdir 非常缓慢。 不知道是否有能实时返回部分结果呢?

现在是放入一个线程操作的。没有进度条较不直观。
如果用C或C++底层实现的方法也可以。

已经找到答案:
PEP 471 -- os.scandir() function -- a better and faster directory iterator

https://github.com/benhoyt/sc...

py3.5已经内置。 速度要快很多,而且可以实时返回结果

解决方案

PEP 471 -- os.scandir() function -- a better and faster directory iterator

这篇关于windows - Python 超大 listdir 的问题。的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!

查看全文
登录 关闭
扫码关注1秒登录
发送“验证码”获取 | 15天全站免登陆