增加神经元或权重会增加还是降低学习率？ [英] Increase or decrease learning rate for adding neurons or weights?

问题描述

我有一个卷积神经网络，我修改了它的体系结构。我没有时间重新培训和执行交叉验证(在最佳参数上进行网格搜索)。我想直观地调整学习速率。

我应该增加还是降低我的RMS(基于SGD)优化器的学习率，条件是：

1. 我将更多神经元添加到完全连接层？
2. 在卷积神经网络上，我在完全连接之前去除子采样(平均或最大池)层，并增加该特征映射和Softmax输出之间的完全连接单元的数量(以便有更多更多的权重连接到顶部的完全连接的神经元)？

推荐答案

作为一个简短实用的答案，如果模型越复杂，这里的学习率就会降低，变量model_size大约是每层神经元的数量：

def rate(self, step = None):
    "Implement `lrate` above"
    if step is None:
        step = self._step
    return self.factor * 
        (self.model_size ** (-0.5) *
        min(step ** (-0.5), step * self.warmup ** (-1.5)))

来源：The Annotated Transformer

另请参阅：Adam: A Method for Stochastic Optimization

这篇关于增加神经元或权重会增加还是降低学习率？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！