Pytorch - 在 softmax 层之后选择最佳概率
我有一个使用 Pytorch 0.4.0 的逻辑回归模型，其中我的输入是高维的，我的输出必须是标量 - 0、1 或 2. 我使用一个线性层和一个 softmax 层组合来返回一个 nx 3 张量，其中每一列代表输入落入三个类别之一的概率(0、1 或 2). 但是，我必须返回一个 n x 1 张量，因此我需要以某种方式为每个输入选择最高概率并创建一个张量，指示哪个类别的概率最高.如何使用
..
softmax相关内容
softmax 函数解释的导数
我正在尝试计算 softmax 激活函数的导数.我发现了这个:https://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function 似乎没有人对我们如何得到 i=j 和 i!= j 的答案给出正确的推导.有人可以解释一下吗！当求和涉及到 softmax 激活函数的分母时，我对导数感到困惑. 解决
..
神经网络的 softmax 激活函数的实现
我在神经网络的最后一层使用 Softmax 激活函数.但是我在安全实现这个函数方面遇到了问题. 一个简单的实现是这样的: 向量 y = mlp(x);//没有softmax激活函数的神经网络的输出for(int f = 0; f 100 个隐藏节点效果不佳，因为在许多情况下 y 将是
..
numpy : 计算 softmax 函数的导数
我正在尝试使用 MNIST 在一个简单的 3 层神经网络中理解 backpropagation. 输入层有weights 和bias.标签是 MNIST 所以它是一个 10 类向量. 第二层是线性变换.第三层是 softmax 激活 以获取输出作为概率. Backpropagation 计算每一步的导数并将其称为梯度. 前一层将 global 或 previous 渐变附加
..
NumPy 中的 Softmax 导数接近 0(实现)
我正在尝试为用 Numpy 编写的神经网络实现 softmax 函数.让 h 是给定信号 i 的 softmax 值. 我一直在努力实现 softmax 激活函数的偏导数. 我目前遇到的问题是，随着训练的进行，所有偏导数都接近 0.我已经用这个很好的答案交叉引用了我的数学，但是我的数学似乎不太好. 将 numpy 导入为 npdef softmax_function(信号，导数=假)
..
为什么要使用 softmax 而不是标准归一化?
在神经网络的输出层，通常使用softmax函数来近似概率分布: 由于指数的原因，计算起来很昂贵.为什么不简单地执行 Z 变换使所有输出都是正的，然后通过将所有输出除以所有输出的总和来归一化? 解决方案 与标准归一化相比，Softmax 有一个很好的属性. 它以相当均匀的分布对神经网络的低刺激(认为是模糊的图像)做出反应，对概率接近 0 和 1 的高刺激(即大量，认为是清晰的图像
..
softmax 版本的triplet loss 的梯度计算
我一直在尝试在 中描述的Caffe中实现三元组损失的softmax版本Hoffer 和 Ailon，使用三元组网络的深度度量学习，ICLR 2015. 我已经尝试过这个，但我发现很难计算梯度，因为指数中的 L2 不是平方. 有人可以帮我吗? 解决方案 使用现有的 caffe 层实现 L2 规范可以为您省去所有麻烦. 这是在 caffe 中为“bottom"s x1 和
..
Inception 模型有两个 softmax 输出吗?
Inception v3 模型如下图所示: 图片来自这篇博文: https://research.googleblog.com/2016/03/train-your-own-image-classifier-with.html 好像有两个Softmax分类输出.这是为什么? TensorFlow 示例中使用哪个作为此文件中名称为“softmax:0"的输出张量?
..
为什么只在输出层使用 softmax 而不是在隐藏层?
我见过的大多数分类任务的神经网络示例都使用 softmax 层作为输出激活函数.通常，其他隐藏单元使用 sigmoid、tanh 或 ReLu 函数作为激活函数.在这里使用 softmax 函数 - 据我所知 - 也可以在数学上解决. 不使用 softmax 函数作为隐藏层激活函数的理论依据是什么? 是否有关于此的任何出版物，可以引用的内容? 解决方案 我还没有找到任何关于为什么在
..
sparse_softmax_cross_entropy_with_logits 和 softmax_cross_entropy_with_logits 有什么区别?
我最近遇到了 tf.nn.sparse_softmax_cross_entropy_with_logits 我可以不知道与 tf.nn.softmax_cross_entropy_with_logits 相比有何不同. 唯一的区别是训练向量 y 必须是 one-hot 编码 使用 sparse_softmax_cross_entropy_with_logits 时? 阅读 API 时，
..
PyTorch 相当于 tf.nn.softmax_cross_entropy_with_logits 和 tf.nn.sigmoid_cross_entropy_with_logits
我在此处找到了帖子.在这里，我们尝试在 PyTorch 中找到 tf.nn.softmax_cross_entropy_with_logits 的等效项.答案仍然让我感到困惑. 这是Tensorflow 2 代码 将 tensorflow 导入为 tf将 numpy 导入为 np# 这里我们假设有 5 个类的 2 个批次大小preds = np.array([[.4, 0, 0, 0.6
..
如何在 TensorFlow 中对具有巨大正负值的数组/向量应用 softmax?
我在 TensorFlow 中使用 MNIST 数据集训练了一个卷积神经网络 (CNN).我从 MNIST 测试图像中计算每个图像的准确度，并寻找十个输出节点的值.我使用以下代码行来获取它(请参阅此处的所有代码:如何在 TensorFlow 中的 eval MNIST 测试数据期间从每个输出节点获取值?): pred=prediction.eval(feed_dict={ x: testSet[
..
tensorflow中sparse_softmax_cross_entropy_with_logits函数的原点编码在哪里
我想知道tensorflow函数是什么sparse_softmax_cross_entropy_with_logits 在数学上正是这样做的.但我找不到编码的来源.你能帮我吗? 解决方案 sparse_softmax_cross_entropy_with_logits 相当于以下的数值稳定版本: -1.* tf.gather(tf.log(tf.nn.softmax(logits))
..
为什么 softmax_cross_entropy_with_logits_v2 返回成本甚至相同
我已经测试过“softmax_cross_entropy_with_logits_v2"随机数 将 tensorflow 导入为 tfx = tf.placeholder(tf.float32,shape=[None,5])y = tf.placeholder(tf.float32,shape=[None,5])softmax = tf.nn.softmax_cross_entropy_wit
..
如何向量化多维矩阵的 Softmax 概率
我正在尝试为斯坦福大学完成作业 1cs244n 类.问题 1b 强烈推荐对 Softmax 函数进行优化.我设法得到了 N 维向量的 Softmax.我还得到了 MxN 维矩阵的 Softmax，但在列中使用了 for 循环.我有以下代码: def softmax(x):orig_shape = x.shape# 矩阵如果 len(x.shape) >1:softmax = np.zeros(o
..
在pytorch中使用交叉熵损失时，我应该使用softmax作为输出吗?
我在对 pytorch 中的 MNIST 数据集的具有 2 个隐藏层的全连接深度神经网络进行分类时遇到问题. 我想在两个隐藏层中都使用 tanh 作为激活函数，但最后我应该使用 softmax. 对于损失，我在 PyTORch 中选择 nn.CrossEntropyLoss()，它(正如我发现的那样)不想将单热编码标签作为真正的标签，而是采用 LongTensor而不是课程. 我
..
如何使用python中的softmax输出进行神经网络和机器学习来解释多项式Logit模型?
它涉及使用softmax函数输出进行机器学习和神经网络来理解和解释多项式Logit模型. 解决方案 Softmax函数是神经网络内深度学习中使用的最重要的输出函数之一(请参阅Uniqtech在几分钟内了解Softmax).Softmax函数适用于有三类或更多类结果的情况.softmax公式将e提升到每个值得分的指数得分，并通过e指数得分值的和求和.例如，如果我知道这四个类别的Logit
..
如何创建一个层来反转softmax(TensforFlow，python)?
我正在建立一个反卷积网络.我想在上面添加一层，这是softmax的反面.我试图编写一个基本的python函数，该函数返回给定矩阵的softmax的逆并将其放在tensorflow Lambda中并将其添加到我的模型中.我没有错误，但是当我做一个预测时，我在出口处只有0.当我不将此层添加到我的网络时，我输出的不是零.因此，这证明它们归因于我的inv_softmax函数是错误的.您能启发我如何进行吗?
..
Tensorflow Github源代码中的Softmax交叉熵实现
我正在尝试在python中实现Softmax交叉熵损失.因此，我正在研究GitHub Tensorflow存储库中Softmax交叉熵损失的实现.我试图理解它，但是遇到了三个函数的循环，但是我不明白函数中的哪一行代码正在计算损失? 函数 softmax_cross_entropy_with_logits_v2(labels，logits，axis = -1，name = None)返回函数
..
完全卷积网络的每像素softmax
我正在尝试实现类似完全卷积的网络，其中最后一个卷积层使用大小为1x1的过滤器并输出一个“得分"张量.得分张量的形状为[Batch，height，width，num_classes]. 我的问题是，张量流中的哪个函数可以对每个像素应用softmax操作，而与其他像素无关. tf.nn.softmax操作似乎并非出于此目的. 如果没有这样的操作，我想我必须自己写一个. 谢谢！
..