neural-network 第77页 - IT屋-程序员软件开发技术分享社区

偏差在神经网络中的作用是什么?

我知道梯度下降和反向传播算法.我不明白的是:什么时候使用偏见很重要，以及如何使用它? 例如，当映射AND函数时，当我使用2个输入和1个输出时，它不能给出正确的权重，但是，当我使用3个输入(其中1个是偏差)时，它给出正确的重量. 解决方案我认为偏见几乎总是有帮助的.实际上，偏差值使您可以将激活功能向左或向右移动，这对于成功学习至关重要. 看一个简单的例子可能会有所帮助.考虑一下 ..

发布时间：2020-05-04 08:49:26 machine-learning neural-network artificial-intelligence backpropagation AI人工智能

火炬，“大小不匹配"在随机梯度函数训练中

我正在Torch7中实现一个深层神经网络，其中的数据集由两个torch.Tensor()对象组成. 第一个由12个元素(completeTable)组成，另一个由1个元素(presentValue)组成. 每个数据集行都是这两个张量的数组: dataset[p] = {torch.Tensor(completeTable[p]), torch.Tensor(presentValue)}; ..

发布时间：2020-05-04 07:14:38 lua neural-network deep-learning torch 其他开发

Torch/Lua，如何在暹罗神经网络中正确实施小批量训练?

正如我之前的一些问题所提到的，我仍在努力在Torch中实现暹罗神经网络. 我终于有了一个很好的工作实现，但是现在我想添加一个小批量培训.也就是说，我想用一组训练元素来训练暹罗神经网络，而不是只使用一个. 不幸的是，我的2个迷你批次的实现无法正常工作.错误的反向传播存在一个我无法解决的问题. 这是主要架构: th> perceptron_general nn.Sequential { ..

发布时间：2020-05-04 07:03:55 lua parallel-processing neural-network torch 其他开发

我已经执行了 neuralnetwork_tutorial.lua .现在有了模型，我想用一些自己的手写图像对其进行测试.但是我尝试了多种方法来存储权重，现在通过使用但是现在我尝试使用model:forward(testImageTensor) 来预测自己的手写图像(转换为28X28 DoubleTensor) ...ches/torch/install/share/lua/5.1/dp/mo ..

发布时间：2020-05-04 06:57:45 lua neural-network deep-learning torch 其他开发

输入包含NaN，无穷大或Tensorflow中的dtype('float64')太大的值

我正在尝试训练LSTM，并且在我的模型中，我的学习速率呈指数下降，并且有一个下降层.为了在测试和验证时停用辍学层，我为辍学率放置了一个占位符，并将其默认值设置为1.0，而在训练时我将其设置为0.5. dropou_rate占位符值将传递到tf.layers.dropout().在验证过程中运行此程序时，出现以下错误. ValueError:输入包含NaN，无穷大或值对于 dtype('flo ..

发布时间：2020-05-04 06:25:49 python-3.x tensorflow neural-network lstm dropout 其他开发

Shai的LSTM实现生成的.prototxt文件中的DataLayer放置

关于@Shai在用于Caffe的LSTM模块中提供的答案，其中caffe.NetSpec()用于及时显式展开LSTM单元进行训练. 使用此代码实现，为什么"DummyData"层或用作输入X的任何数据层为何出现在prototxt文件中t0时间步骤的末尾，恰好在"t1/lstm/Mx"之前?我不明白... 因此需要一种操作(剪切/粘贴). 解决方案 Shai 的NetSpec L ..

发布时间：2020-05-04 06:25:35 neural-network deep-learning caffe lstm recurrent-neural-network 其他开发

tensorflow:简单LSTM网络的共享变量错误

我正在尝试建立一个最简单的LSTM网络.只是希望它预测序列np_input_data中的下一个值. import tensorflow as tf from tensorflow.python.ops import rnn_cell import numpy as np num_steps = 3 num_units = 1 np_input_data = [np.array([[1.], ..

发布时间：2020-05-04 06:24:21 python tensorflow neural-network lstm Python

Tensorflow:在LSTM中显示或保存忘记门数值

我正在使用在tensorflow中默认提供的LSTM模型.我想检查或知道如何在每个步骤中保存或显示“忘记门"的值，是否有人在此之前或至少做了类似的事情? 到目前为止，我已经尝试过使用tf.print，但是出现了很多值(甚至比我期望的还要多).我会尝试使用张量板绘制某些东西，但是我认为这些门只是变量，而不是我可以打印的额外层(也因为它们在TF脚本中) 任何帮助都会得到好评解决方案 ..

发布时间：2020-05-04 06:24:04 python neural-network tensorflow lstm Python

Tensorflow ValueError:仅使用命名参数调用`sparse_softmax_cross_entropy_with_logits`

调用以下方法时: losses = [tf.nn.sparse_softmax_cross_entropy_with_logits(logits, labels) for logits, labels in zip(logits_series,labels_series)] 我收到以下ValueError: ValueError: Only call `spar ..

发布时间：2020-05-04 06:23:36 python tensorflow neural-network lstm cross-entropy Python

用LSTM进行Keras情绪分析如何测试

我正在尝试使用示例 model = model_from_json(open('my_model_architecture.json').read()) model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy']) model.load_weights(' ..

发布时间：2020-05-04 06:23:28 python neural-network keras lstm Python

Tensor Flow-LSTM-'Tensor'对象不可迭代

嗨，我正在为lstm rnn单元格使用以下功能. def LSTM_RNN(_X, _istate, _weights, _biases): # Function returns a tensorflow LSTM (RNN) artificial neural network from given parameters. # Note, some code of this ..

发布时间：2020-05-04 06:23:00 python neural-network tensorflow lstm Python

Tensorflow网格LSTM RNN TypeError

我正在尝试构建一个在Tensorflow中处理3D数据的LSTM RNN.从这篇论文来看，Grid LSTM RNN可以是n维的.我的网络的想法是使用3D卷[depth, x, y]，网络应为[depth, x, y, n_hidden]，其中n_hidden是LSTM单元递归调用的数量.这个想法是，每个像素都有自己的LSTM递归调用的“字符串". 输出应为[depth, x, y, n_c ..

发布时间：2020-05-04 06:22:47 python machine-learning tensorflow neural-network lstm AI人工智能

什么时候停止训练神经网络?

我正在尝试使用RNN进行特定领域的分类研究，并且已经积累了数以千万计的文本.由于要花费数天甚至数月才能运行整个数据集，因此我只选择了其中的一小部分进行测试，例如1M文本(用于培训的80％，用于验证的20％).我使用词向量化对整个语料库进行了预训练，并且还对模型应用了Dropout以避免过度拟合.当它在12小时内训练了60000条文本时，损失已经下降到相当低的水平，准确性为97％.我应该继续还是不继 ..

发布时间：2020-05-04 06:22:39 machine-learning nlp neural-network lstm recurrent-neural-network AI人工智能

为什么RNN总是输出1

我使用递归神经网络(RNN)进行预测，但出于某些奇怪的原因，它总是输出1.这里我用一个玩具示例对此进行解释: 示例考虑一个尺寸为(360，5)的矩阵M和一个包含M行总和的向量Y.现在，我想使用RNN从M预测Y.使用rnn R软件包，我将模型训练为 library(rnn) M ..

发布时间：2020-05-04 06:22:33 r neural-network deep-learning lstm recurrent-neural-network 其他开发

TensorFlow dynamic_rnn回归值:ValueError维度不匹配

我想建立一个玩具LSTM模型进行回归. 这个不错的教程已经太复杂了对于初学者. 给出长度为time_steps的序列，预测下一个值.考虑time_steps=3及其序列: array([ [[ 1.], [ 2.], [ 3.]], [[ 2.], [ 3.], [ 4.]], ... 目标值应为: array ..

发布时间：2020-05-04 06:22:14 python tensorflow neural-network lstm recurrent-neural-network Python

如何处理极长的LSTM序列长度?

我有一些数据以非常高的速率(每秒数百次)采样.对于任何给定的实例，这平均导致序列长度很大(〜90,000个样本).整个序列只有一个标签.我正在尝试使用LSTM神经网络将新序列分类为这些标签之一(多类分类). 但是，使用具有如此长序列长度的LSTM会导致网络很大. 有什么方法可以有效地对这些序列进行“聚类"，以便我可以减少神经网络的序列长度，但仍保持整个实例中捕获的信息? 解决方案 ..

发布时间：2020-05-04 06:22:01 neural-network lstm 其他开发

张量流中LSTM的正则化

Tensorflow提供了一个不错的LSTM包装器. rnn_cell.BasicLSTM(num_units, forget_bias=1.0, input_size=None, state_is_tuple=False, activation=tanh) 我想使用正则化，例如L2正则化.但是，我无法直接访问LSTM单元中使用的不同权重矩阵，因此我无法明确地执行类 ..

发布时间：2020-05-04 06:21:41 neural-network tensorflow lstm recurrent-neural-network 其他开发

TensorFlow中的暹罗神经网络

我正在尝试在TensorFlow中实现暹罗神经网络，但是我在Internet上找不到任何有效的示例(请参阅我要构建的体系结构将由两个共享权重的LSTM组成，并且仅在网络末端连接. 我的问题是:如何在TensorFlow中建立两个不同的神经网络，以共享它们的权重(并列权重)，以及如何在最后连接它们? 谢谢:) 编辑:我实现了一个简单而有效的暹罗网络示例，解决方案使用tf.la ..

发布时间：2020-05-04 06:20:28 neural-network tensorflow deep-learning lstm 其他开发

PyTorch-contiguous()

我正在github上查看LSTM语言模型的示例contiguous()的作用，这在代码中多次发生. 例如，在代码输入的第74/75行中，创建了LSTM的目标序列. 数据(存储在ids中)为二维，其中第一维为批处理大小. for i in range(0, ids.size(1) - seq_length, seq_length): # Get batch inputs and ..

发布时间：2020-05-04 06:20:26 neural-network deep-learning lstm pytorch contiguous 其他开发

张量流BasicLSTMCell中的num_units是什么?

在MNIST LSTM示例中，我不理解“隐藏层"的含义.当您表示一段时间后展开的RNN时，它是虚构层吗? 为什么在大多数情况下num_units = 128是? 解决方案隐藏单元数直接表示神经网络的学习能力-它反映了学习参数的数量 .值128可能是任意或经验选择的.您可以实验性地更改该值，然后重新运行程序以查看它如何影响训练精度(隐藏的单元数很多可以达到90％的测试精度).使用更多 ..

发布时间：2020-05-04 06:20:01 tensorflow neural-network lstm recurrent-neural-network 其他开发

neural-network相关内容