在使用nltk的meteor_core模块评估模型时，如何实现流星评分？ [英] How can I implement meteor score when evaluating a model when using the meteor_score module from nltk?

问题描述

我目前有两个文件，ference.txt和mod.txt。这两个文本文件包含原始字幕和训练后生成的字幕。
我是否可以简单地执行以下操作来获得流星分数：

score = nltk.translate.meteor_score.meteor_score(reference, model)
print(np.mean(meteor_score))

我也看过https://github.com/tylin/coco-caption，但我不知道如何实现它。

推荐答案

我们从定义术语开始

引用：实际文本/基础事实。如果有多个人为同一数据点生成基本事实，则您将有多个引用，并且假定所有引用都是正确的

假设：候选者/预测者。

假设这两个人看着一张图片，他们的标题

• 这是苹果
• 那是苹果

现在您的模型查看了图像并进行了预测

• 这棵树上的苹果

您可以计算预测结果的meteor_core

print (nltk.translate.meteor_score.meteor_score(
    ["this is an apple", "that is an apple"], "an apple on this tree"))
print (nltk.translate.meteor_score.meteor_score(
    ["this is an apple", "that is an apple"], "a red color fruit"))

输出：

0.6233062330623306
0.0

在您的例子中，您必须将reference.txt读入一个列表，并类似地将谓词建模到另一个列表中。现在，您必须获取第一个列表中每一行的meteor_score和第二个列表中每一行的meteor_score，最后取平均值。

这篇关于在使用nltk的meteor_core模块评估模型时，如何实现流星评分？的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！