seq2seq中的时间分布(密集)与密集 [英] TimeDistributed(Dense) vs Dense in seq2seq
本文介绍了seq2seq中的时间分布(密集)与密集的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!
问题描述
给定以下代码
encoder_inputs = Input(shape=(16, 70))
encoder = LSTM(latent_dim, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
# We discard `encoder_outputs` and only keep the states.
encoder_states = [state_h, state_c]
# Set up the decoder, using `encoder_states` as initial state.
decoder_inputs = Input(shape=(59, 93))
# We set up our decoder to return full output sequences,
# and to return internal states as well. We don't use the
# return states in the training model, but we will use them in inference.
decoder_lstm = LSTM(latent_dim, return_sequences=True, return_state=True)
decoder_outputs,_,_ = decoder_lstm(decoder_inputs,
initial_state=encoder_states)
decoder_dense = TimeDistributed(Dense(93, activation='softmax'))
decoder_outputs = decoder_dense(decoder_outputs)
# Define the model that will turn
# `encoder_input_data` & `decoder_input_data` into `decoder_target_data`
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
如果我更改
decoder_dense = TimeDistributed(Dense(93, activation='softmax'))
至
decoder_dense = Dense(93, activation='softmax')
它仍然有效,但哪种方法更有效?
推荐答案
如果您的数据依赖于时间,如Time Series
数据或由Video
不同帧组成的数据,则时间Distributed Dense
层比简单Dense
层有效。
Time Distributed Dense
将相同的dense
层应用于GRU/LSTM
单元格展开过程中的每个时间步长。这就是错误函数将位于predicted label sequence
和actual label sequence
之间的原因。
return_sequences=False
,Dense
层将仅在最后一个单元格中应用一次。当RNNs
用于分类问题时,通常会出现这种情况。
如果return_sequences=True
,则使用Dense
层在每个时间步应用,就像TimeDistributedDense
一样。
return_sequences=False
,则Dense
将仅应用于最后一个单元格。
希望这能有所帮助。祝您学习愉快!
这篇关于seq2seq中的时间分布(密集)与密集的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持IT屋!
查看全文