precision-recall相关内容

具有n次交叉验证的精度召回曲线显示标准偏差

我希望生成具有5倍交叉验证的精度-召回曲线,以显示example ROC curve code here中的标准偏差。 下面的代码(改编自How to Plot PR-Curve Over 10 folds of Cross Validation in Scikit-Learn)给出了每一次交叉验证的PR曲线以及平均PR曲线。我还想用灰色显示平均PR曲线上下一个标准差的区域。但它显示以下错误(代 ..

什么时候微观和宏观平均值会有很大不同?

我正在学习机器学习理论。我有一个使用多类别Logistic回归的预测混淆矩阵。 现在我已经计算了微观和宏观平均值(精度和召回)。 值有很大不同。现在我想知道是什么因素影响了这一点。在什么情况下,微观和宏观会有很大的不同? 我注意到的是,对于不同的类别,预测的准确性是不同的。这就是原因吗?或者还有什么其他因素可以导致这种情况? 样本混淆矩阵: 和我计算的微观-宏观平均值 ..

在一个模型中,精确度和召回率是相同的

我正在进行一个多分类项目,我注意到无论我运行什么分类器,模型中的精度和召回率都是相同的。 分类问题有三个截然不同的类别。数据量偏小,13k实例分为测试(0.8)和训练(0.2)。 训练数据的形状为(10608,28),标签的形状为(10608,3)(二进制标签)。 分类不平衡: 标签0占所有标签的30% 标签1占所有标签的4% 标签2占所有标签的66%。 我正在比 ..

如何在 Keras 中计算准确率和召回率

我正在用 Keras 2.02(带有 Tensorflow 后端)构建一个多类分类器,我不知道如何在 Keras 中计算准确率和召回率.请帮帮我. 解决方案 Python 包 keras-metrics 可能对此有用(我是包的作者). 导入keras导入 keras_metrics模型 = 模型.顺序()model.add(keras.layers.Dense(1, activation ..
发布时间:2021-12-19 12:49:26 Python

F1 分数 vs ROC AUC

我有以下两种不同情况的 F1 和 AUC 分数 模型 1:精度:85.11 召回:99.04 F1:91.55 AUC:69.94 模型 2:精度:85.1 召回:98.73 F1:91.41 AUC:71.69 我的问题的主要动机是正确预测正例,即减少假负例 (FN).我应该使用 F1 分数并选择模型 1 还是使用 AUC 并选择模型 2.谢谢 解决方案 简介 根 ..
发布时间:2021-12-14 10:06:38 AI人工智能

多类-多标签分类的精度/召回率

我想知道如何计算多类多标签分类的准确率和召回率,即有两个以上标签的分类,并且每个实例可以有多个标签? 解决方案 对于多标签分类,您有两种方法首先考虑以下内容. 是示例的数量. 是 示例.. 是 示例. 是 示例. 基于示例 指标以每个数据点的方式计算.对于每个预测标签,仅计算其得分,然后将这些得分汇总到所有数据点上. 精度 = ,预测正确的比例.分子找出预测向 ..

如何从 Python 中的混淆矩阵获得精度、召回率和 f 度量

我正在使用 Python 并且有一些混淆矩阵.我想通过多类分类中的混淆矩阵来计算精度和召回率以及 f 度量.我的结果日志不包含 y_true 和 y_pred,只包含混淆矩阵. 你能告诉我如何从多类分类中的混淆矩阵中得到这些分数吗? 解决方案 让我们考虑 MNIST 数据分类的情况(10 个类),其中对于 10,000 个样本的测试集,我们得到以下混淆矩阵 cm(Numpy数组): ..

如何绘制多类分类器的精度和召回率?

我正在使用 scikit learn,我想绘制精度和召回曲线.我使用的分类器是 RandomForestClassifier.scikit learn 文档中的所有资源都使用二进制分类.另外,我可以为多类绘制 ROC 曲线吗? 另外,我只找到了多标签的 SVM,它有一个 decision_function 而 RandomForest 没有 解决方案 来自 scikit-learn ..
发布时间:2021-07-16 20:00:31 Python

sklearn precision_recall_curve 和阈值

我想知道 sklearn 如何决定在 precision_recall_curve 中使用多少个阈值.这里有另一篇文章:sklearn 如何选择精确召回曲线中的阈值步长?.它提到了我发现这个例子的源代码 将 numpy 导入为 np从 sklearn.metrics 导入 precision_recall_curvey_true = np.array([0, 0, 1, 1])y_scores ..
发布时间:2021-07-16 19:58:44 其他开发

插入符号中的 AUPRC 和 PRROC 之间的区别

我正在处理一个非常不平衡的分类问题,我使用 AUPRC 作为插入符号中的度量.对于来自 caret 的 AUPRC 和来自包 PRROC 的 AUPRC 中的测试集,我得到了截然不同的结果. 为了简单起见,可重现的示例使用来自包 mlbench 的 PimaIndiansDiabetes 数据集: rm(list=ls())图书馆(插入符号)图书馆(mlbench)图书馆(PRROC)#加 ..
发布时间:2021-07-03 18:36:13 其他开发

用于多类分类的sklearn指标

我已经使用sklearn执行了GaussianNB分类.我尝试使用以下代码来计算指标: 打印精度得分(y_test,y_pred)打印precision_score(y_test,y_pred) 准确度分数正常运行,但精确度分数计算显示错误为: ValueError:目标是多类的,但average ='binary'.请选择其他平均设置. 由于目标是多类的,我可以得到精度,召回率 ..
发布时间:2021-05-31 18:34:07 AI人工智能