Scene Graph 评测指标

原创 paperreading

再了解 Scene Graph 的评价指标时，首先要了解一下什么是 precision 和 recall

1. precision 和 recall

在信息检索和分类问题中，Precision（精确率）和 Recall（召回率）是两个非常重要的评估指标。

• Precision 表示的是预测为正的样本中，实际为正的比例。公式为：
  $$\text{Precision} = \frac{TP}{TP + FP}$$
  其中，(TP) 是真正例（True Positives）的数量，(FP) 是假正例（False Positives）的数量。
• Recall 表示的是在所有实际为正的样本中，被正确预测为正的比例。公式为：
  $$\text{Recall} = \frac{TP}{TP + FN}$$
  其中，(FN) 是假负例（False Negatives）的数量。

下面举个例子深入了解一下

假设我们有一个疾病检测系统，它对100个病人进行了测试，结果如下：

• 有50个病人实际上是有病的，系统预测其中40个病人有病（TP），10个病人没有病（FN）。
• 另外50个病人实际上没有病，系统预测其中5个病人有病（FP），45个病人没有病（TN）。
  根据这些信息，我们可以计算 Precision 和 Recall：
• Precision:
  $$\text{Precision} = \frac{TP}{TP + FP} = \frac{40}{40 + 5} = \frac{40}{45} \approx 0.89$$
• Recall:
  $$\text{Recall} = \frac{TP}{TP + FN} = \frac{40}{40 + 10} = \frac{40}{50} = 0.8$$
  这个例子说明，虽然系统对于预测有病的病人具有较高的精确度（89%），但它只覆盖了实际有病病人的80%，这意味着还有20%的有病病人被漏诊了。

2. Recall@K

Recall@K是一个评估模型在推荐系统或信息检索系统中性能的指标，用来衡量系统能够找回用户感兴趣的项目的能力。具体来说，Recall@K表示在系统推荐的前K个项目中，有多少比例的相关项目被成功检索

计算方法

Recall@K的计算公式为：

$$\text{Recall@K} = \frac{\text{Number of relevant items in top K recommendations}}{\text{Total number of relevant items}}$$

其中：

• Number of relevant items in top K recommendations是指在系统给出的前K个推荐项目中，用户实际感兴趣（即相关）的项目数量。
• Total number of relevant items是指在所有项目中，用户实际感兴趣的项目总数。

下面举个例子深入了解一下

假设一个用户对10个项目感兴趣，我们的系统需要从100个项目中推荐10个项目给这个用户。如果在系统推荐的前5个项目中（即K=5），有3个项目是用户实际感兴趣的，而用户总共感兴趣的项目是10个，则 Recall@5的计算如下：

$$\text{Recall@5} = \frac{3}{10} = 0.3$$

这意味着在前5个推荐中，系统能够检索到用户感兴趣项目总数的30%。这个指标帮助我们了解系统在限定的推荐数量下的检索能力。

3. mR@K

Mean Recall@K (mR@K) 是一个评估模型在推荐系统或信息检索系统中性能的指标，特别是在处理多标签分类问题时。它衡量的是模型能够在前K个推荐中找到的相关项目的平均比例

计算方法

1. Recall@K: 对于每个查询或样本，首先计算Recall@K。这是指在前K个推荐项中，正确推荐的项目数与该查询的所有相关项目总数的比例。公式为：
   

   $$\text{Recall@K} = \frac{\text{Number of relevant items in top K recommendations}}{\text{Total number of relevant items}}$$

2. Mean Recall@K (mR@K): 然后，对所有查询的Recall@K 取平均值，得到 Mean Recall@K。公式为：
   

   $$\text{Mean Recall@K} = \frac{\sum_{i=1}^n \text{Recall@K}_i}{n}$$
   其中 (n) 是查询的总数。

下面举个例子深入了解一下

假设有一个系统需要推荐电影，我们有3个用户的推荐结果如下：

• 用户1:

  • 相关电影: {电影A, 电影B, 电影C, 电影D}
  • 系统推荐的前3部电影: {电影A, 电影X, 电影B}
  • Recall@3: 2/4 = 0.5 (因为电影A和电影B是相关的)

• 用户2:

  • 相关电影: {电影E, 电影F}
  • 系统推荐的前3部电影: {电影E, 电影G, 电影H}
  • Recall@3: 1/2 = 0.5 (因为电影E是相关的)

• 用户3:

  • 相关电影: {电影I, 电影J, 电影K}
  • 系统推荐的前3部电影: {电影I, 电影J, 电影L}
  • Recall@3: 2/3 ≈ 0.667 (因为电影I和电影J是相关的)

计算 Mean Recall@3:

$$\text{Mean Recall@3} = \frac{0.5 + 0.5 + 0.667}{3} ≈ 0.556$$

这个值表明，平均而言，系统在前 3 个推荐中能找到大约 55.6%的相关电影。

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Dec 19, 2024 12:13 pm