neural-network相关内容

检查目标时出错:预期 time_distributed_5 有 3 个维度,但得到了形状为 (14724, 1) 的数组

尝试建立单输出回归模型,但最后一层似乎有问题 inputs = Input(shape=(48, 1))lstm = CuDNNLSTM(256,return_sequences=True)(输入)lstm = Dropout(dropouts[0])(lstm)#aux_input辅助输入=输入(形状=(48, 7))辅助输出 = 时间分布(密集(4))(辅助输入)辅助输出 = 时间分布(密集 ..
发布时间:2021-12-31 17:11:32 其他开发

用于 Caffe 的 Python 或 Matlab?

我将致力于在 Caffe 中实现 DQN 和来自 Google DeepMind 的最新扩展. 为此,我将编写一个模拟器(代替 Atari 模拟器)来为代理创建培训体验. 我的问题是:Caffe 的 Matlab 或 Python 接口中哪个最成熟且运行良好? 为此任务在 Python 和 Matlab 之间进行选择还有其他考虑吗? 应该注意的是,我在 Python 开发方面比 ..
发布时间:2021-12-31 17:11:07 Python

Caffe:如果两层反向传播梯度到同一个底部 blob 会发生什么?

我想知道如果我有一个生成底部 blob 的层,该层会被两个后续层进一步消耗,这两个层都会在反向传播阶段生成一些梯度来填充 bottom.diff.两个梯度会加起来形成最终的梯度吗?或者,只有其中一个可以存活?在我的理解中,Caffe 层需要在用一些计算的梯度填充之前将 bottom.diff 设置为全零,对吗?memset 会清除其他层已经计算的梯度吗?谢谢! 解决方案 使用多个损失层并不 ..

不知道批量大小的 3-D 批量矩阵乘法

我目前正在编写一个 tensorflow 程序,该程序需要将一批二维张量(形状为 [None,...] 的 3-D 张量)与一个二维矩阵相乘W.这需要将 W 转换为 3-D 矩阵,这需要知道批量大小. 我无法做到这一点;tf.batch_matmul 不再可用,x.get_shape().as_list()[0] 返回 None,对于整形无效/平铺操作.有什么建议?我看到有些人使用 conf ..

为什么我的模型预测相同的标签?

我正在训练一个小型网络,训练似乎进行得很顺利,val loss 减少,我达到了 80 左右的验证准确率,一旦没有更多改进,它实际上停止了训练(耐心 = 10).它训练了 40 个 epoch.然而,它一直只为每个测试图像预测一个类!我尝试随机初始化 conv 层,我添加了正则化器,我从 Adam 切换到 SGD,我添加了 clipvalue,我添加了 dropouts.我也切换到了 softmax ..

为什么我们必须在张量流的反卷积过程中指定输出形状?

TF 文档在 tf.conv2d_transpose 中有一个 output_shape 参数.为什么需要这个?层的步幅、过滤器大小和填充参数不是决定了该层的输出形状,类似于卷积过程中的决定方式吗? 解决方案 这个问题已经在 TF github 并收到答复: output_shape 是需要的,因为输出的形状不能必须根据输入的形状计算,特别是如果输出小于过滤器,我们使用有效填充所以输 ..

对于张量流中的二元分类,成本函数总是返回零

我在 tensorflow 中编写了以下二进制分类程序,但有问题.无论输入是什么,成本始终归零.我正在尝试调试一个更大的程序,它没有从数据中学习任何东西.我已经将至少一个错误缩小到成本函数总是返回零.给定的程序正在使用一些随机输入并且有同样的问题.self.X_train 和 self.y_train 原本应该从文件中读取,函数 self.predict() 有更多层形成前馈神经网络. 将 nu ..

从命令行使用 nntool [MATLAB]

我有这个代码: in = [5 列数据点];out = [1 列数据点];net = newfit(in,out,5);净 = 火车(净,入,出); 现在我想 访问生成的误差变量(以便我可以计算平均误差等) 在循环中运行它,所以我想在循环之间重新初始化权重. 访问存储时间运行所需的变量 如何从命令行完成这三件事? [我知道如何使用 nntool GUI 完成这些事情] ..
发布时间:2021-12-31 17:09:41 其他开发

tf.keras 损失变为 NaN

我正在 tf.keras 中编写一个 3 层的神经网络.我的数据集是 MNIST 数据集.我减少了数据集中的示例数量,因此运行时间较低.这是我的代码: 将 tensorflow 导入为 tf从 tensorflow.keras 导入层将 numpy 导入为 np将熊猫导入为 pd!git 克隆 https://github.com/DanorRon/data%cd 数据!ls批量大小 = 32 ..
发布时间:2021-12-31 17:09:34 AI人工智能

使用 tensorflow 合并在 2 台不同计算机上训练的同一模型的权重

我正在研究使用 tensorflow 训练深度神经网络.我知道如何训练模型.我的问题是我必须在具有不同数据集的 2 台不同计算机上训练相同的模型.然后保存模型权重.后来我必须以某种方式合并 2 个模型权重文件.我不知道如何合并它们.是否有执行此操作的函数,或者是否应该对权重进行平均? 对这个问题的任何帮助都是有用的 提前致谢 解决方案 最好在训练期间合并权重更新(梯度)并保留一 ..

为什么“softmax_cross_entropy_with_logits_v2"反向传播到标签

我想知道为什么在 Tensorflow 1.5.0 及更高版本中,softmax_cross_entropy_with_logits_v2 默认为反向传播到标签和 logits.在哪些应用/场景中您希望反向传播到标签中? 解决方案 我看到下面的 github issue 提出了同样的问题,你可能想关注它以备将来更新. https://github.com/tensorflow/min ..

Caffe 输出层数精度

我修改了 Caffe MNIST 示例 以对 3 类图片.我注意到的一件事是,如果我将输出层的数量指定为 3,那么我的测试准确度会急剧下降——下降到 40% 的低范围.但是,如果我 +1 并且有 4 个输出层,则结果在 95% 范围内. 我在我的数据集中添加了一个额外的图像类(所以 4 个类)并注意到同样的事情 - 如果输出层的数量与类的数量相同,那么结果是可怕的,如果它是相同的 +1,然后效果 ..

Tensorboard- 叠加 2 个图

在张量板中,我想在同一个图上叠加 2 个图(神经网络的训练和验证损失). 我可以看到 2 个单独的图,但看不到一个具有 2 条叠加曲线的图.否则,我会得到一个锯齿状的地块. 我该怎么办? 解决方案 可以在 Tensorboard 中叠加两个图.您必须同时满足以下两个条件: 创建两个单独的 tf.train.SummaryWriter 对象,使其输出到两个文件夹中. ..
发布时间:2021-12-31 17:08:33 其他开发

Tensorflow 中的加权训练示例

给定一组用于训练神经网络的训练样例,我们希望对训练中的各种样例赋予或多或少的权重.我们根据示例的“价值"(例如有效性或置信度)的一些标准,将介于 0.0 和 1.0 之间的权重应用于每个示例.这如何在 Tensorflow 中实现,尤其是在使用 tf.nn.sparse_softmax_cross_entropy_with_logits() 时? 解决方案 在最常见的情况下,您使用 log ..