seq2seq中的时间分布(密集)与密集
给定以下代码 encoder_inputs = Input(shape=(16, 70)) encoder = LSTM(latent_dim, return_state=True) encoder_outputs, state_h, state_c = encoder(encoder_inputs) # We discard `encoder_outputs` and only keep
..
seq2seq相关内容
用大数据集训练Google Colab TPU上的seq2seq模型-KERAS
我正在尝试使用Google Colab TPU上的KERAS训练序列到序列模型的机器翻译。 我有一个可以加载到内存中的数据集，但我必须对其进行预处理才能将其提供给模型。特别是，我需要将目标单词转换为一个热点向量，并且在许多示例中，我无法将整个转换加载到内存中，因此我需要批量处理数据。 我将此函数用作批处理生成器： def generate_batch_bert(X_ids, X_mas
..
如何在将单词呈现为嵌入的同时在整个词汇预测上拥有 LSTM Autoencoder 模型
所以我一直在研究 LSTM Autoencoder 模型.我还创建了这个模型的各种版本. 1. 使用已经训练好的词嵌入创建模型:在这种情况下，我使用已经训练好的手套向量的权重作为特征(文本数据)的权重.这是结构: inputs = Input(shape=(SEQUENCE_LEN, EMBED_SIZE), name="input")编码 = 双向(LSTM(LATENT_SIZE)，m
..
指定 seq2seq 自动编码器.RepeatVector 有什么作用?批量学习对预测输出有什么影响?
我正在构建一个基本的 seq2seq 自动编码器，但我不确定我是否做对了. model = Sequential()# 编码器model.add(LSTM(32, activation='relu', input_shape =(timesteps, n_features ), return_sequences=True))model.add(LSTM(16, activation='relu'
..
如何使用 TimeDistributed 层预测动态长度的序列?蟒蛇3
所以我正在尝试构建一个基于 LSTM 的自动编码器，我想将其用于时间序列数据.这些被分成不同长度的序列.因此，模型的输入具有 [None, None, n_features] 形状，其中第一个 None 代表样本数，第二个代表序列的 time_steps.序列由 LSTM 处理，参数 return_sequences = False，然后由函数 RepeatVector 重新创建编码维度并再次运行
..
如何使用 tf2 为 seq2seq 构建自定义双向编码器?
类编码器(tf.keras.Model):def __init__(self, vocab_size, embedding_dim, enc_units, batch_sz):超级(编码器，自我).__init__()self.batch_sz = batch_szself.enc_units = enc_unitsself.embedding = tf.keras.layers.Embeddin
..
PyTorch:用于训练和测试/验证的不同前向方法
我目前正在尝试扩展基于 FairSeq/PyTorch 的模型.在训练期间，我需要训练两个编码器:一个使用目标样本，一个使用源样本. 所以当前的forward函数是这样的: def forward(self, src_tokens=None, src_lengths=None, prev_output_tokens=None, **kwargs):编码器输出 = self.encoder(
..
Keras中的Seq2Seq双向编码器解码器
我正在尝试使用Keras实现seq2seq编码器-解码器，在编码器上具有双向lstm，如下所示: from keras.layers import LSTM,Bidirectional,Input,Concatenate from keras.models import Model n_units = 8 n_input = 1 n_output = 1 # encoder encode
..
如何使用TimeDistributed层来预测动态长度序列? PYTHON 3
因此，我正在尝试构建基于LSTM的自动编码器，我希望将其用于时间序列数据.这些被拆分成不同长度的序列.因此，模型的输入具有[None，None，n_features]形状，其中第一个None代表样本数量，第二个None代表序列的time_steps.该序列由LSTM处理，其参数return_sequences = False，然后通过RepeatVector函数重新创建编码维，并再次运行LSTM.
..
当前，向使用转换器架构的神经机器转换器添加自定义词典的最佳方法是什么?
通常将自定义词典添加到机器翻译器中，以确保正确翻译了特定领域的术语.例如，当文档涉及数据中心时和文档涉及餐厅时，服务器一词应以不同的方式翻译. 对于转换器模型，这样做不是很明显，因为单词未按1:1对齐.我已经看过几篇关于这个主题的论文，但是我不确定哪一个是最好的.解决此问题的最佳做法是什么? 解决方案 恐怕您不能轻易做到这一点.您不容易将新单词添加到词汇表中，因为您不知道在训练过程中
..
Seq2Seq模型学习几次迭代后仅输出EOS令牌(< \ s>)
我正在创建一个在 Cornell电影对话语料库使用 NMT . 我的代码部分基于 https://github.com/bshao001/ChatLearner 和 https://github.com/chiphuyen/stanford-tensorflow -tutorials/tree/master/assignments/chatbot 在训练过程中，我打印了从批处理中馈送到
..
指定seq2seq自动编码器. RepeatVector做什么?批处理学习对预测输出有什么影响?
我正在构建一个基本的seq2seq自动编码器，但是我不确定自己是否做得正确. model = Sequential() # Encoder model.add(LSTM(32, activation='relu', input_shape =(timesteps, n_features ), return_sequences=True)) model.add(LSTM(16,
..
如何在整个词汇的预测中拥有LSTM自动编码器模型，同时将单词呈现为嵌入
所以我一直在研究LSTM Autoencoder model.我还创建了该模型的各种版本. 1..使用已经受过训练的单词嵌入来创建模型: 在这种情况下，我使用已经训练好的手套矢量的权重作为特征(文本数据)的权重. 这是结构: inputs = Input(shape=(SEQUENCE_LEN, EMBED_SIZE), name="input") encoded = Bidi
..
Keras中具有LSTM的多层Seq2Seq模型
我正在喀拉拉邦建立一个seq2seq模型.我建立了单层编码器和解码器，它们工作正常.但是现在我想将其扩展到多层编码器和解码器. 我正在使用Keras Functional API进行构建. 培训:- 编码器代码:- encoder_input=Input(shape=(None,vec_dimension)) encoder_lstm=LSTM(vec_dimension,ret
..