neural-network相关内容

用于 Scikit Learn 的 Keras 包装器 - AUC 评分器不起作用

我正在尝试使用 Keras Scikit Learn Wrapper 来随机搜索参数更简单.我在这里写了一个示例代码: 我生成了一个人工数据集: 我正在使用 scikit learn 中的 moons from sklearn.datasets import make_moons数据集 = make_moons(1000) 模型构建器定义: 我定义了需要的build_fn函 ..

如何加载和使用 PyTorch (.pth.tar) 模型

我对 Torch 不是很熟悉,我主要使用 Tensorflow.但是,我需要使用在 Torch 中重新训练的重新训练的初始模型.由于为我的特定应用程序重新训练初始模型需要大量计算资源,我想使用已经重新训练的模型. 此模型保存为 .pth.tar 文件. 我希望能够首先加载这个模型.到目前为止,我已经能够弄清楚我必须使用以下内容: model = torch.load('iNat_20 ..
发布时间:2021-12-31 17:04:50 Python

CUDNN_STATUS_ALLOC_FAILED 导致 Tensorflow 崩溃

在网上搜索了几个小时都没有结果,所以想在这里问一下. 我正在尝试按照 Sentdex 的教程制作自动驾驶汽车,但是在运行模型时,我遇到了一系列致命错误.我已经在互联网上搜索了解决方案,许多人似乎都有同样的问题.但是,我没有找到任何解决方案(包括 this Stack-post),为我工作. 这是我的软件: Tensorflow:1.5,GPU 版本 CUDA:9.0,带有补丁 ..
发布时间:2021-12-31 17:04:43 Python

随机化神经网络输入顺序的影响

在我的高级算法和数据结构课程中,我的教授要求我们选择我们感兴趣的任何主题.他还告诉我们研究它并尝试在其中实施解决方案.我选择神经网络是因为它是我想学习很长时间的东西. 我已经能够使用神经网络实现 AND、OR 和 XOR,该网络的神经元使用阶跃函数作为激活器.之后,我尝试实现一个反向传播神经网络,该网络学习识别 XOR 算子(使用 sigmoid 函数作为激活器).通过使用 3-3-1 网络 ..

XOR 问题可以用 2x2x1 神经网络无偏差解决吗?

如果没有偏差,具有 2 个输入节点、2 个隐藏节点和一个输出的神经网络是否应该能够解决 XOR 问题?还是会卡住? 解决方案 保留偏差.它不会看到您输入的值. 就一对一的类比而言,我喜欢将偏差视为直线方程中的偏移 c 值:y = mx + c;它为您的系统增加了一个独立的自由度,不受网络输入的影响. ..
发布时间:2021-12-31 17:04:18 AI人工智能

在 keras 自定义层中使用广播进行元素乘法

我正在创建一个自定义层,其权重需要在激活前乘以元素.当输出和输入的形状相同时,我可以让它工作.当我将一阶数组作为输入,将二阶数组作为输出时,就会出现问题.tensorflow.multiply 支持广播,但是当我尝试在 Layer.call(x, self.kernel) 中使用它时将 x 乘以 self.kernel 变量,它抱怨它们是不同的形状说: ValueError: Dimension ..
发布时间:2021-12-31 17:04:08 Python

权重初始化

我计划将 Nguyen-Widrow 算法用于具有多个隐藏层的 NN.在研究的过程中,我发现了很多歧义,我想澄清一下. 以下是 Nguyen-Widrow 算法的伪代码 用随机值初始化隐藏层的所有权重对于每个隐藏层{beta = 0.7 * Math.pow(hiddenNeurons, 1.0/输入数);对于每个突触{对于每个权重{通过除以神经元的权重范数和 * 乘以 beta 值来调 ..
发布时间:2021-12-31 17:03:57 AI人工智能

在 tensorflow 中与许多输入数据文件很好地混合

我正在与 tensorflow 合作,希望能训练一个深度 CNN 来为围棋游戏进行移动预测.我创建的数据集由 100,000 个二进制数据文件组成,其中每个数据文件对应一个记录的游戏,并包含大约 200 个训练样本(游戏中的每个动作一个).我相信在使用 SGD 时获得良好的混合非常重要.我希望我的批次包含来自不同游戏的样本和来自游戏不同阶段的样本.因此,例如,简单地从 100 个文件的开头读取一个 ..
发布时间:2021-12-31 17:03:51 Python

keras 预测错误

我正在尝试使用 keras 神经网络来识别绘制数字的画布图像并输出数字.我已经保存了神经网络并使用 django 来运行 web 界面.但是每当我运行它时,我都会收到内部服务器错误和服务器端代码错误.错误说异常:检查时出错:预期dense_input_1具有形状(无,784)但得到形状为(784,1)的数组.我唯一的主要观点是 from django.shortcuts 导入渲染从 django ..

在 Tensorflow 中使用泄漏的 relu

我如何将 G_h1 = tf.nn.relu(tf.matmul(z, G_W1) + G_b1) 更改为泄漏的 relu?我尝试使用 max(value, 0,01*value) 循环张量,但我得到 TypeError: Using a tf.Tensor as a Python bool is not allowed. 我也尝试在Tensorflow github上找到relu上的源代码 ..
发布时间:2021-12-31 17:03:29 Python

如何在 Keras 中创建自定义回调?

我有兴趣在拟合我的 keras 模型时创建回调.更详细地说,我想在每次 epoch 结束时从带有 val_acc 的机器人电报中收到一条消息.我知道你可以在 classifier.fit() 中添加一个 callback_list 作为参数,但是许多回调是由 keras 预先构建的,我不知道如何添加自定义的. 谢谢! 解决方案 以下是我如何向回调添加验证准确性的示例: class ..
发布时间:2021-12-31 17:03:05 Python

如何使用 keras 进行异或

我想通过代码a xor来练习keras,但是结果不对,下面是我的代码,感谢大家的帮助. from keras.models import Sequential从 keras.layers.core 导入密集,激活从 keras.optimizers 导入 SGD将 numpy 导入为 np模型 = Sequential()# 两层model.add(密集(input_dim=2,output_d ..
发布时间:2021-12-31 17:02:53 Python

为什么要识别 XOR 算子的反向传播神经网络需要偏置神经元?

我发布了一个问题 昨天关于我在 XOR 算子的反向传播神经网络中遇到的问题.我做了更多的工作,并意识到这可能与没有偏置神经元有关. 我的问题是,偏置神经元的一般作用是什么,它在识别异或算子的反向传播神经网络中的作用是什么?是否可以创建一个没有偏置神经元的神经元? 解决方案 创建一个没有偏置神经元的神经网络是可能的......它会工作得很好,但有关更多信息,我建议您查看此问题的答案问题 ..

神经网络:连续输出变量的 Sigmoid 激活函数

好的,所以我正在Andrew Ng 在coursera 上的机器学习课程 中想要调整作为作业 4 的一部分完成的神经网络. 特别是,我在作业中正确完成的神经网络如下: Sigmoid 激活函数:g(z) = 1/(1+e^(-z)) 10 个输出单元,每个单元可以取 0 或 1 1 个隐藏层 用于最小化成本函数的反向传播方法 成本函数: 其中L=层数,s_l=层l的单元数 ..
发布时间:2021-12-31 17:02:36 AI人工智能

Java中的异或神经网络

我正在尝试为 Java 中的 XOR 函数实现和训练一个带有反向传播的五神经元神经网络.我的代码(请原谅它的丑陋): 公共类 XORBackProp {私有静态最终 int MAX_EPOCHS = 500;//权重私有静态双 w13、w23、w14、w24、w35、w45;私有静态双 theta3、theta4、theta5;//神经元输出私有静态双 gamma3、gamma4、gamma5; ..
发布时间:2021-12-31 17:02:13 Java开发

Keras - 损失和度量的计算方式不同?

我在 Keras 中有一个模型,我正在优化均方误差.但是,如果我在指标中使用与 Keras 的 losses.py 相同的代码,我会得到不同的结果.这是为什么? 作为一个指标: def MSE_metric(y_true, y_pred):返回 K.mean(K.square(y_pred, y_true)) 对于模型: model.compile(optimizer=SGD(lr=0 ..
发布时间:2021-12-31 17:01:58 Python

在 Keras 中修剪

我正在尝试使用 Keras 设计一个优先考虑预测性能的神经网络,但我无法通过进一步减少层数和每层节点数来获得足够高的准确度.我注意到我的很大一部分权重实际上为零(> 95%).有没有办法修剪密集层以减少预测时间? 解决方案 不是专用的方式 :( 目前没有简单(专用)的方式使用 Keras 来做到这一点. 正在https://groups.google.com 上进行讨论/for ..
发布时间:2021-12-31 17:01:30 其他开发

如何为 TensorFlow Estimators 充分利用 GPU?

我的深度学习模型使用的是 Tensorflow(CPU 版本).具体使用 DNNRegressor Estimator 进行训练,使用给定的参数集(网络结构、隐藏层、alpha 等)虽然我能够减少损失,但模型需要非常长的学习时间(大约 3 天.)和时间每 100 步需要 9 秒. 我看到了这篇文章:-https://medium.com/towards-data-科学/如何训练张量流模型-7 ..
发布时间:2021-12-31 17:01:21 Python