在pycaffe中使用net.forward时从lmdb的第一个开始转发
我正在使用pycaffe，并且我的火车和测试数据为LMDB格式. 我创建了这样的网络: net = caffe.Net('train.prototxt'，'c.caffemodel'，caffe.TEST) 在调用net.forward时，隐式地一步一步地遍历了LMDB测试数据库.我的问题是如何从LMDB的开头开始，并在前n批测试数据中测试网络? 谢谢 解决方案 不确定它
..
lmdb相关内容
随机播放LMDB文件中的数据
我已经有一个为解决方案 LMDB根据密钥的词法顺序遍历数据.您可以在当前密钥之前添加一个随机数，数据将相应地随机排列.我也正在研究一种有效的方法，可以在各个时期之间随机重写密钥，因为我想在数据集中使用批处理规范化.
..
将jpeg文件直接写入lmdb
我设法将numpy数组写入lmdb，但是解决方案远非完美，但实际上我的X只是jpg图像，所以我的问题是如何直接将jpeg文件写入lmdb? 好像pycaffe做类似的事情，但它使用特定于caffe的Datum，因此我需要一些没有依赖性的常规解决方案. 解决方案 在此示例中，将图像写为numpy数组，直接写为已编码的jpg. 如我们所见，直接存储jpg在存储方面更加有效.
..
LMDB增加map_size
我正在使用LMDB ++(LMDB的C ++包装器)，但出现此错误: terminate called after throwing an instance of 'lmdb::map_full_error' what(): mdb_put: MDB_MAP_FULL: Environment mapsize limit reached 一些谷歌搜索人员告诉我，LMDB中的默认map_
..
合并两个LMDB数据库以馈送到网络(caffe)
这是两个LMDB数据库.有什么办法可以合并这两个数据库并使用caffe将其馈送到网络? 解决方案 使用python lmdb接口简单地编写脚本.像这样: import lmdb env = lmdb.open("path/to/lmdbFile") txn = env.begin(write=True) database1 = txn.cursor("db1Name") data
..
使用python计数lmdb数据库中的记录数
我使用以下代码打开lmdb数据库: lmdb_env = lmdb.open(source_path, readonly=True) 如何计算该数据库中的记录数? 解决方案 我找到了使用for循环的简单解决方案.在这里: count = 0 for key, value in lmdb_env.cursor(): count = count + 1
..
LMDB的内部设计有什么特别之处?
在内存B树的某些C ++实现(例如google btree)和LMDB(不考虑LMDB的所有功能，例如事务，隔离，共享访问等)? 解决方案 此 Howard Chu 的> 2014 lmdb设计演示介绍了lmdb的设计和权衡. 总结:lmdb是写时复制，自底向上更新，双缓冲，b树，在实现时，只要与其他考虑因素冲突，该实现总是偏向于简化. 聪明的设计选择 使之成为目前性能最高且抗
..
用Python将数据写入LMDB非常慢
创建数据集以使用 Caffe 进行训练，我都尝试使用HDF5和LMDB.但是，创建LMDB非常慢，甚至比HDF5还慢.我正在尝试编写约20,000张图片. 我做错什么了吗?有我不知道的东西吗? 这是我创建LMDB的代码: DB_KEY_FORMAT = "{:0>10d}" db = lmdb.open(path, map_size=int(1e12)) curr_idx
..
Caffe:从Python读取LMDB
我已经使用caffe提取了特征，caffe会生成一个.mdb文件. 然后，我尝试使用Python读取它并将其显示为可读数字. import lmdb lmdb_env = lmdb.open('caffefeat') lmdb_txn = lmdb_env.begin() lmdb_cursor = lmdb_txn.cursor() for key, value in lmdb_cur
..
是否可以在未存储在像LMDB这样的数据源中的数据集上运行caffe模型?
我有2组图像补丁数据，即训练和测试集.这两个都已写入LMDB文件.我正在使用Caffe在此数据上运行卷积神经网络. 问题在于存储在硬盘上的数据占用了大量空间，并且妨碍了我通过故意添加噪声来引入更多训练数据以使我的模型更健壮的工作. 有没有一种方法可以将程序中的图像补丁直接发送到CNN(在Caffe中)而无需将其存储在LMDB中?我目前正在使用python从图像中为训练数据集生成补丁.
..
可以存储在LMDB中的值
LMDB是键值存储.可以在此处存储哪些类型的键和值?示例显示int或char arrays.此外，我想知道是否可以将相关数据存储在lmdb中，就像我们将与学生有关的所有数据存储在RDBMS中的table 解决方案 听起来您不是C程序员，但是在C语言的上下文中，LMDB中键和值的数据都是(void * )-也就是说，指向任何内容的通用指针.这意味着可以使用可以用编程语言表达的任何数据类型.在其他
..
使用numpy数组为Caffe创建大型LMDB
我有两个60 x 80921矩阵，一个矩阵填充数据，一个参考矩阵. 我想将值作为键/值对存储在两个不同的LMDB中，一个用于训练(例如，我将围绕60000列标记进行切片)，另一个用于测试.这是我的主意；它行得通吗? X_train = X[:,:60000] Y_train = Y[:,:60000] X_test = X[:,60000:] Y_test = Y[:,60000:] X
..
将numpy数组写入lmdb
我正在尝试将python中的一些numpy数组写入lmdb: import numpy as np import lmdb def write_lmdb(filename): lmdb_env = lmdb.open(filename, map_size=int(1e9)) lmdb_txn = lmdb_env.begin(write=True) X= np.a
..
如何从numpy数组读取图像到PIL图像?
我正在尝试通过执行以下操作从使用PIL的numpy数组读取图像: from PIL import Image import numpy as np #img is a np array with shape (3,256,256) Image.fromarray(img) ，并出现以下错误: File "...Image.py", line 2155, in fromarray
..
为Caffe生成LMDB
我正在尝试使用caffe建立一个用于深度分析的深度学习模型(我正在使用python包装器).但是我无法理解如何为此目的生成lmdb数据结构.我已经浏览了Imagenet和mnist示例，并且了解到我应该以 格式生成标签 my_test_dir/picture-foo.jpg 0 但是在我的情况下，我将用0或1标记每个像素，以指示该像素是否显着.那不会是图像的单一标签. 如何为基于像素
..
检查失败:mdb_status == 0(2与0)没有这样的文件或目录
我在训练数据时收到以下错误.我已经尝试了Internet上提供的所有解决方案，但似乎没有任何工作对我有用.我检查了路径，并且lmdb文件的大小不为零.但是问题仍然存在.我不知道如何解决这个问题. pooling_ I0411 12:42:53.114141 21769 layer_factory.hpp:77] Creating layer data I0411 12:42:53.11458
..
压缩LMDB文件
我想知道是否有人试图对他们的LMDB文件使用压缩技术？通常，lmdb文件通常不使用任何压缩。我想知道是否有人成功地存储数据在lmdb使用jpeg压缩在lmdb上，然后用于caffe。我需要这个，因为我在一个开发板上工作，存储空间非常有限。 解决方案 div> Caffe还支持支持压缩的HDF5。如果你的数据集是smth像mnist - 它可能是一个不错的选择。
..
多标签使用两个不同的LMDB
我是新的在caffe框架，我想使用caffe实施与多标签的培训。我使用两个LMDB来分别保存数据和标签。数据LMDB的尺寸为Nx1xHxW，而标签LMDB的尺寸为Nx1x1x3。标签是浮动数据。 文本文件如下： 5911 3 train / train_data / 4224.bmp 13 0 12 train / train_data / 3625.bmp 11 3 7
..