神经网络训练的建议

在本章中,我们将了解可以使用TensorFlow框架实现的神经网络训练的各个方面.

以下是十个建议,可以评估 :

反向传播

反向传播是一种计算偏导数的简单方法,包括最适合神经网络的基本形式的组合.

Back Propagation

随机梯度下降

在随机梯度下降中,批次是用户在单次迭代中用于计算梯度的示例总数.到目前为止,假设批处理已经是整个数据集.最好的例子是谷歌规模;数据集通常包含数十亿甚至数千亿的例子.

随机梯度下降

学习率衰减

学习率衰减

调整学习率是梯度下降优化的最重要特征之一.这对于TensorFlow实现至关重要.

Dropout

具有大量参数的深度神经网络构成了强大的机器学习系统.但是,过度拟合是这类网络中的一个严重问题.

Dropout

最大池化

最大池化是基于样本的离散化过程.该对象是对输入表示进行下采样,这会降低所需假设的维数.

Max Pooling

长期短期记忆(LSTM)

LSTM控制决定在指定神经元内应该采取什么输入.它包括决定应该计算什么以及应该生成什么输出的控制.

长期短期记忆