windows - Python 超大 listdir 的问题。
本文介绍了windows - Python 超大 listdir 的问题。的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
问 题
一个目录有50W个文件,而且是局域网共享目录,延迟较高。
直接os.listdir 非常缓慢。 不知道是否有能实时返回部分结果呢?
现在是放入一个线程操作的。没有进度条较不直观。
如果用C或C++底层实现的方法也可以。
已经找到答案:
PEP 471 -- os.scandir() function -- a better and faster directory iterator
https://github.com/benhoyt/sc...
py3.5已经内置。 速度要快很多,而且可以实时返回结果
解决方案
PEP 471 -- os.scandir() function -- a better and faster directory iterator
这篇关于windows - Python 超大 listdir 的问题。的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文