为什么在人工神经网络中需要BIAS?我们是否应该为每个层分别设置BIAS? [英] Why the BIAS is necessary in ANN? Should we have separate BIAS for each layer?

问题描述

我想建立一个预测输入信号未来响应的模型，我的网络体系结构为[3，5，1]:

I want to make a model which predicts the future response of the input signal, the architecture of my network is [3, 5, 1]:

• 3个输入，
• 隐藏层中有5个神经元，并且
输出层中有1个神经元.

• 3 inputs,
• 5 neurons in the hidden layer, and
• 1 neuron in output layer.

我的问题是:

1. 对于每个隐藏层和输出层，我们都应该有单独的BIAS吗?
2. 我们应该在每层上为BIAS分配权重吗(因为BIAS成为我们网络的额外价值并导致网络超负荷)?
3. 为什么BIAS总是设置为1?如果eta具有不同的值，为什么我们不将BIAS设置为不同的值?
4. 为什么对于非线性函数我们总是使用对数S型函数，我们可以使用tanh吗?

推荐答案

因此，如果我们退后一步并讨论偏置单元在NN中的作用，我认为其中大部分都是显而易见的.

So, I think it'd clear most of this up if we were to step back and discuss the role the bias unit is meant to play in a NN.

偏差单位是指允许网络中的单位学习适当的阈值(即达到一定的总输入后，开始发送正激活)，因为通常正总输入表示正激活.

A bias unit is meant to allow units in your net to learn an appropriate threshold (i.e. after reaching a certain total input, start sending positive activation), since normally a positive total input means a positive activation.

例如，如果您的偏差单位的权重为-2，并且某个神经元x，那么如果所有其他输入的总和大于-2，则神经元x将提供正向激活.

For example if your bias unit has a weight of -2 with some neuron x, then neuron x will provide a positive activation if all other input adds up to be greater then -2.

因此，以此为背景，您的答案:

So, with that as background, your answers:

1. 不，一个偏置输入总是足够的，因为根据每个单元的权重，它可能会影响不同的神经元.
2. 通常来说，将权重分配给每个非输入单元是一个好主意，因为否则，那些没有权重的单元将具有始终为零的阈值.
3. 从阈值开始，一旦获悉，在所有试验中都应保持一致.记住偏差代表每个单元如何与输入交互.它本身不是输入.
4. 您当然可以而且很多都可以.任何静噪功能通常都可以用作激活功能.

这篇关于为什么在人工神经网络中需要BIAS?我们是否应该为每个层分别设置BIAS?的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！