neural-network - IT屋-程序员软件开发技术分享社区

PyTorch：如何在任何给定时刻更改优化器的学习速度(无LR时间表)

在PyTorch中是否可以在训练过程中动态更改优化器的学习速度(我不想预先定义学习速度计划)？假设我有一个优化器： optim = torch.optim.SGD(model.parameters(), lr=0.01) 现在由于我在训练中做了一些测试，我意识到我的学习速度太快了，所以我想把它改为0.001。似乎没有方法optim.set_lr(0.001)，但有什么方法可以做到 ..

发布时间：2022-07-24 09:55:50 python optimization neural-network deep-learning pytorch Python

训练和验证步骤中的PyTorch无限循环

DataSet和DataLoader的部分正常，我回收了我构建的另一个代码，但在代码中的该部分有一个无限循环： def train(train_loader, MLP, epoch, criterion, optimizer): MLP.train() epoch_loss = [] for batch in train_loader: optimizer.zero_gr ..

发布时间：2022-07-24 09:43:15 neural-network pytorch regression mlp 其他开发

Django：只为`made.py runserver`执行代码，不为`Migrate`、`hel`等执行代码

我们正在使用Django作为一个网站的后端，该网站提供各种内容，其中使用神经网络使用TensorFlow来回答某些请求。为此，我们创建了AppConfig，并将此应用程序配置的加载添加到Django的settings.py中的INSTALLED_APPS。一旦初始化，此AppConfiger就会加载神经网络： settings.py： INSTALLED_APPS = [ ... ..

发布时间：2022-07-23 13:46:20 python django server neural-network Python

如何在WEKA中用新的训练数据更新训练过的模型(weka.classifiers.functions.MultilayerPerceptron)？

我要加载我以前训练的模型，然后使用新的训练数据更新此模型。但我发现这项任务很难完成。我从Weka Wiki了解到可以以增量方式训练实现weka.ategfiers.Updateable分类器接口的分类器。但是，我训练的回归模型使用的是weka.classifiers.functions.MultilayerPerceptron分类器，该分类器没有实现可更新分类器。然 ..

发布时间：2022-07-20 17:08:48 machine-learning neural-network data-mining weka regression AI人工智能

奇怪的验证损失和准确性

我正在尝试使用MLP进行分类。以下是模特的外观。 import keras from keras.models import Sequential from keras.layers import Dense, Dropout from keras.utils import np_utils model = Sequential() model.add(Dense(256, activ ..

发布时间：2022-06-28 21:24:31 machine-learning neural-network deep-learning keras classification AI人工智能

什么是自适应平均池，它是如何工作的？

最近，当我尝试实现AlexNet时，我在Pytorch中遇到了一个方法。我不明白它是怎么运作的。请举几个例子解释一下背后的想法。在神经网络功能方面，它与Maxpooling或Average Poling有何不同 nn.AdaptiveAvgPool2d((6，6)) 推荐答案在平均池化或最大池化中，基本上由您自己设置步长和内核大小，并将它们设置为超参数。如果您碰巧更改了输入大 ..

发布时间：2022-06-23 18:12:16 python math neural-network deep-learning pytorch Python

有没有关于Kera中默认的权重初始值设定项的解释？

我刚刚在here中读到了Kera权重初始值设定项。在文档中，只介绍了不同的初始值设定项。例如： model.add(Dense(64, kernel_initializer='random_normal')) 我想知道当我未指定kernel_initializer参数时，默认权重是多少。有办法访问它吗？推荐答案每一层都有自己的初始化权重的默认值。对于大多数层，例如Den ..

发布时间：2022-06-22 20:51:32 python machine-learning keras neural-network AI人工智能

亚当方法的学习率好吗？

我正在训练我的方法。我得到的结果如下。这是一个很好的学习速度吗？如果不是，它是高还是低？这是我的结果 lr_policy: "step" gamma: 0.1 stepsize: 10000 power: 0.75 # lr for unnormalized softmax base_lr: 0.001 # high momentum momentum: 0.99 # no gradien ..

发布时间：2022-06-06 15:09:27 machine-learning neural-network deep-learning caffe AI人工智能

我有一个有N个输入节点和N个输出节点的神经网络，其中可能有多个隐藏层和递归，但首先让我们忘记这些。神经网络的目标是学习N维变量Y*，给定N维值X。假设神经网络的输出是Y，学习后应该接近Y*。我的问题是：有没有可能得到输出Y*的神经网络的逆？也就是说，我如何得到X*的值，当我把它放入神经网络中时，它会产生Y*？(或类似的东西) 问题的一个主要部分是N非常大，通常在10000或100000量级，但如 ..

发布时间：2022-04-17 10:55:26 neural-network local inverse 其他开发

为什么KERAS中的PLOT_MODEL不能正确打印模型？

我想要可视化我的神经网络。因此，我使用from tensorflow.keras.utils import plot_model并按如下方式使用： model = Sequential() model.add(Dense(8, activation="relu")) model.add(Dense(1)) plot_model(model, to_file=" ..

发布时间：2022-04-02 20:10:35 tensorflow plot keras neural-network visualization 其他开发

利用非训练数据的训练权值设计新的损失函数

我希望在训练迭代中访问训练点，并通过使用训练集中未包括的数据点将软约束合并到我的损失函数中。我将使用this post作为参考。 import numpy as np import keras.backend as K from keras.layers import Dense, Input from keras.models import Model # Some random tra ..

发布时间：2022-04-01 22:57:00 tensorflow keras neural-network tensorflow2.0 其他开发

在预测期间从KERAS/TensorFlow获取中间输出

假设我加载了INSITION，并且我需要在分类之前提取最终的描述符。因此，给出如下的简单代码： cnn = InceptionV3(weights='imagenet', include_top='False', pooling='avg') cnn.predict(x, batch_size=32, verbose=0) 如何在 ..

发布时间：2022-03-30 21:14:19 tensorflow neural-network keras extraction descriptor 其他开发

如何使用KERAS(TensorFlow)限制神经网络回归中的预测输出总和(TensorFlow)

我正在训练Keras(python，后端：TensorFlow)中的神经网络作为回归。因此，我的输出层不包含激活函数，并且我使用均方误差作为我的损失函数。我的问题是：我希望确保所有产量估计的总和(几乎)等于所有实际标签的总和。我的意思是：我不仅要确保每个训练示例i的(Y_Real)^i~(Y_Recast)^i，而且要保证sum(Y_Real)=sum(Y_Recast)，对所有i求和 ..

发布时间：2022-02-26 19:11:29 machine-learning neural-network keras regression AI人工智能

如何将神经网络的输出限制在特定的范围内？

我正在使用Kera执行回归任务，并希望将输出限制在一个范围内(例如介于1和10之间) 有没有办法确保这一点？推荐答案编写自定义激活函数，如下所示 # a simple custom activation from keras import backend as BK def mapping_to_target_range( x, target_min=1, target ..

发布时间：2022-02-26 19:01:14 python neural-network keras regression Python

什么是卷积神经网络中的激活、激活梯度、权重梯度和权重梯度？

我刚刚阅读完CNNS上Stanford的CS231n的the notes，有一个指向实时demo的链接；但是，我不确定演示中的“激活”、“激活梯度”、“权重”和“权重梯度”指的是什么。下面的屏幕截图是从演示中复制的。念力点位1 我首先感到困惑的是，“激活”指的是输入层。根据笔记，我认为激活层指的是CNN中的RELU层，它本质上告诉CNN哪些神经元应该被点亮(使用RELU功能)。我不确 ..

发布时间：2022-02-25 18:04:11 neural-network deep-learning conv-neural-network 其他开发

卷积神经网络与下采样？

读完这个主题我不太理解：神经网络中的“卷积”与简单的下采样或“锐化”功能相比吗？您能否将此术语分解为简单易懂的图像/类比？编辑：在第一个答案之后重新表述：合并是否可以理解为权重矩阵的缩减抽样？推荐答案卷积神经网络是一系列经经验证明在图像识别方面非常有效的模型。从这个角度看-CNN与下采样完全不同。但在CNN设计中使用的框架中有一些可以与下采样技术相媲美的东西 ..

发布时间：2022-02-25 18:02:36 machine-learning neural-network deep-learning conv-neural-network convolution AI人工智能

如何在TensorFlow中使用相同的权重进行初始化？

我正在使用TensorFlow构建CNN模型，我想知道是否可以以某种方式设置权重初始化的种子，以便能够在任何地方都拥有相同的种子，以便可以在我的模型的不同体系结构之间进行比较。在堆栈溢出问题上找到了类似Tensorflow weight initialization的答案，但对我没有真正的帮助，因此我们将感谢您的帮助。提前感谢！推荐答案您可以根据需要在所有层设置kernel_ini ..

发布时间：2022-02-25 17:58:29 python tensorflow neural-network conv-neural-network tensorflow2.0 Python

增加神经元或权重会增加还是降低学习率？

我有一个卷积神经网络，我修改了它的体系结构。我没有时间重新培训和执行交叉验证(在最佳参数上进行网格搜索)。我想直观地调整学习速率。我应该增加还是降低我的RMS(基于SGD)优化器的学习率，条件是：我将更多神经元添加到完全连接层？在卷积神经网络上，我在完全连接之前去除子采样(平均或最大池)层，并增加该特征映射和Softmax输出之间的完全连接单元的数量(以便有更多更多的权重连接到 ..

发布时间：2022-02-25 17:52:11 machine-learning neural-network deep-learning conv-neural-network AI人工智能

反向传播和渐变下降使用相同的逻辑吗？

CNN使用反向传播来更新随机分配的权重、偏差和过滤器。对于值的更新，我们从头到尾使用链式规则找出梯度，并使用公式 New Value = old value - (learning Rate * gradient) 梯度下降是一个优化器，用于优化损失函数。这里还计算了梯度，公式为 New value = old value - (learning Rate * gradient) ..

发布时间：2022-02-25 17:46:50 neural-network conv-neural-network gradient-descent backpropagation 其他开发

KERAS中的默认权重初始值设定项是什么？

我刚刚在here中读到了Kera权重初始值设定项。在文档中，只介绍了不同的初始值设定项。例如： model.add(Dense(64, kernel_initializer='random_normal')) 我想知道未指定kernel_initializer参数时的默认权重。有办法访问它吗？推荐答案每层都有自己的默认值来初始化权重。对于大多数层，如Dense、卷积、R ..

发布时间：2022-02-22 13:50:57 python machine-learning keras neural-network AI人工智能

neural-network相关内容