recurrent-neural-network相关内容

RNN-运行错误:输入必须有3个维度,得到2

我收到以下错误: 运行错误:输入必须有3个维度,得到%2 我有一个功能栏,我正尝试将其输入GRU神经网络。 下面是我的数据加载器和神经网络。在检索一批数据时,我还包含了数据加载器的输出。 我做错了什么? def batch_data(feature1, sequence_length, batch_size): “”" Batch the neural network d ..

TensorFlow:获取相对于输入的RNN隐藏状态梯度

我的模型由嵌入层和SimpleRNN层组成。我已经用model.predict获得了所有步骤的隐藏状态,并将它们与这些步骤进行了对比。我发现隐藏的状态收敛到零,但我不确定我是否能从中推断出什么。因此,绘制它们相对于模型输入的梯度可能会为我提供一些进一步的见解。我需要一些帮助来获取这些渐变。 我的型号: batch_size = 9600 # batch size can take ..
发布时间:2022-08-23 13:43:43 Python

将维度为(3,50)的嵌入层连接到LSTM

维度为(3,50)的嵌入层如何接入LSTM? 数组(3,50)被馈送到输入 ,其中存储有三个长度为50的数组的时间步长 我尝试在重塑之前连接它,但它也不起作用。嵌入增加了维度,而LSTM不需要额外的维度。您必须将张量转换为Tf并手动处理张量,这很可怕。 layer_i_inp = Input(shape = (3,50), name = 'item') layer_i_emb ..
发布时间:2022-08-23 13:34:45 Python

Colab TPU上的RNN运行速度与本地CPU版本相同

我实现了RNN的本地版本和RNN的Colab TPU版本(代码如下)。当我执行Colab TPU版本(如下代码)时,训练速度非常慢,就像我在笔记本电脑的CPU上运行的本地版本一样。 Colab TPU是否支持RNN网络? 我是否遗漏了什么? import tensorflow as tf import os from tensorflow.keras import Sequent ..

用PyTorch预测网格坐标序列

我有一个类似的开放问题here on Cross Validated(虽然不是以实现为重点的,我打算这个问题是这样的,所以我认为它们都是有效的)。 我正在进行一个项目,该项目使用传感器来监控人员的GPS位置。然后,坐标将被转换为简单的网格表示。我想尝试和做的是,在记录用户路线后,训练神经网络来预测下一个坐标,即以下面的例子为例,用户在一段时间内只重复两条路线,Home->A和Home->B。 ..

基于LSTM的不同数据集循环与预测

我从事Keras和LSTM已经有一段时间了,但仍然相当新。 我遇到一个问题,每次使用keras LSTM进行训练和预测时,我都需要重新启动Jupyter Notebook。 当我需要使用相同的LSTM模型设置使用不同的数据集循环多个预测时,这会出现问题。 另一种方法是逐个数据集训练和预测数据集,每次预测完成后都重新启动并运行,这将是一个非常乏味的过程。 例如: for ..
发布时间:2022-03-23 21:19:26 Python

如何在KERAS中将未来值包括在RNN的时间序列预测中

我目前有一个用于时间序列预测的RNN模型。它使用最后96个时间步长中的3个输入要素&Quot;Value&Quot;、&Quot;Temperature&Quot;和&Quot;Hour of the day&Quot;来预测要素&Quot;Value&Quot;的下96个时间步长。 在这里您可以看到它的架构: 这里有当前代码: #Import modules import pa ..
发布时间:2022-02-23 19:03:02 Python

使用 RNN 进行非线性多元时间序列响应预测

考虑到内部和外部气候,我正在尝试预测墙壁的湿热响应.根据文献研究,我认为 RNN 应该可以做到这一点,但我无法获得良好的准确性. 数据集有 12 个输入特征(外部和内部气候数据的时间序列)和 10 个输出特征(湿热响应的时间序列),均包含 10 年的每小时值.该数据是使用湿热模拟软件创建的,没有丢失数据. 数据集特征: 数据集目标: 与大多数时间序列预测问题不同,我想预测每 ..

用于多元时间序列的 Keras 递归神经网络

我一直在阅读有关 Keras RNN 模型(LSTM 和 GRU)的文章,作者似乎主要关注语言数据或使用由先前时间步长组成的训练实例的单变量时间序列.我的数据有点不同. 我有 20 个变量在 10 年内每年测量 100,000 人作为输入数据,并将第 11 年测量的 20 个变量作为输出数据.我想做的是预测第 11 年的其中一个变量(而不是其他 19 个)的值. 我的数据结构为 X.s ..
发布时间:2022-01-11 09:46:23 Python

Keras 功能 API:将 CNN 模型与 RNN 相结合以查看图像序列

所以我遇到了一个问题,即如何在 Keras 中将 CNN 与 RNN 结合起来.在发布问题时,有人指出这是解决问题的正确方法.显然我只是忽略了原始代码中的一些内容,这让我回答了我自己的问题. 原来的问题如下: 如何在 Keras 中创建一个模型,将图像序列作为输入,CNN“查看"每个单独的图像,并将 CNN 输出序列输入 RNN? 为了更清楚: 模型一:查看单个图像的 CN ..

RNN 是否会为后续的小批量重置初始状态?

有人可以澄清一下是否为后续的小批量重置了 TF 中 RNN 的初始状态,还是使用前一个小批量的最后状态,如 Ilya Sutskever 等人,ICLR 2015 ? 解决方案 tf.nn.dynamic_rnn() 或 tf.nn.rnn() 操作允许使用 initial_state 参数指定 RNN 的初始状态.如果不指定此参数,隐藏状态将在每个训练批次开始时初始化为零向量. 在 ..
发布时间:2022-01-11 09:18:55 其他开发

pytorch 中 num_layers = 2 的 1 个 LSTM 和 2 个 LSTM 之间的区别

我是深度学习的新手,目前正在研究使用 LSTM 进行语言建模.我正在查看 pytorch 文档并被它弄糊涂了. 如果我创建一个 nn.LSTM(input_size, hidden_​​size, num_layers) 其中 hidden_​​size = 4 和 num_layers = 2,我想我会有一个类似的架构: op0 op1 ....LSTM ->LSTM ->H3LST ..
发布时间:2022-01-06 19:34:35 其他开发

TensorFlow dynamic_rnn 状态

我的问题是关于 TensorFlow 方法 tf.nn.dynamic_rnn.它返回每个时间步的输出和最终状态. 我想知道返回的最终状态是最大序列长度时单元格的状态还是由 sequence_length 参数单独确定. 为了更好地理解一个例子:我有 3 个序列,长度为 [10,20,30] 并返回最终状态 [3,512](如果隐藏状态单元格的长度为 512). 这三个序列的三个 ..

双向 LSTM 和 LSTM 有什么区别?

有人可以解释一下吗?我知道双向 LSTM 有前向和后向传递,但与单向 LSTM 相比,这有什么优势? 它们各自更适合什么? 解决方案 LSTM 在其核心中,使用隐藏状态保留来自已经通过它的输入的信息. 单向 LSTM 只保留过去的信息,因为它看到的唯一输入来自过去. 使用双向将以两种方式运行您的输入,一种从过去到未来,一种从未来到过去,这种方法与单向的不同之处在于,在向后 ..

tensorflow BasicLSTMCell 中的 num_units 是什么?

在 MNIST LSTM 示例中,我不明白“隐藏层"是什么意思.当您表示随时间展开的 RNN 时,它是形成的虚层吗? 为什么在大多数情况下 num_units = 128 ? 解决方案 隐藏单元的数量是神经网络学习能力的直接表示——它反映了学习参数的数量.值 128 可能是任意或凭经验选择的.您可以通过实验更改该值并重新运行程序以查看它如何影响训练准确度(您可以使用 很多 更少的隐藏 ..