随机播放LMDB文件中的数据 [英] Shuffle data in LMDB file

问题描述

我已经有一个为 LMDB (Symas Lightning Memory-Mapped Database)文件. href ="http://caffe.berkeleyvision.org/" rel ="nofollow">咖啡.是否有任何可能的方法可以将已存在的LMDB中的数据重新混合以创建带有已重新混合数据的新LMDB.任何建议或想法都会有所帮助.

I already have an existing LMDB(Symas Lightning Memory-Mapped Database) file which is created for caffe. Is there any possible way to shuffle the data in already existing LMDB to create a new LMDB with data shuffled. Any suggestions or ideas would be helpful.

推荐答案

LMDB根据密钥的词法顺序遍历数据.您可以在当前密钥之前添加一个随机数，数据将相应地随机排列.我也正在研究一种有效的方法，可以在各个时期之间随机重写密钥，因为我想在数据集中使用批处理规范化.

LMDB traverses data according to the lexicological order of the key. You can prepend a random number to your current key and the data will be shuffled accordingly. I am also investigating an efficient way to rewrite the keys randomly between epochs as I would like to use Batch normalization in my data set.

这篇关于随机播放LMDB文件中的数据的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！