对比学习损失:SupCon
pytorch
本文字数:1k 字 | 阅读时长 ≈ 4 min

对比学习损失:SupCon

pytorch
本文字数:1k 字 | 阅读时长 ≈ 4 min

1. 基本概念

SupCon(监督对比损失)用类别标签确定正样本。假设一个 batch 里有三张不同的猫图和一张狗图。选猫图 A 作为比较的起点(锚点),猫图 B、C 都是正样本,狗图是负样本。训练希望 A 的特征与 B、C 的相似度都高于它与狗图的相似度。

对于 InfoNCE 来说,一个锚点只有一个正确匹配。这里有多个正确匹配,需要分别计算它们的损失。

2. SupCon 损失

把每张图的特征做 L2 归一化,记为 \(v_i\)。两个特征的点积就是余弦相似度。设温度为 \(\tau\),对锚点 \(i\),候选 \(j\) 在所有其他样本中分到的概率是

\[ p_{ij}=\frac{\exp(v_i^\top v_j/\tau)} {\sum_{k\ne i}\exp(v_i^\top v_k/\tau)}. \]

注意分母是不包含自己的,以猫图 A 为锚点,猫图 B、猫图 C 和狗图都参与上式分母的计算。算出三个候选的概率后,根据真实标签挑出与 A 同类的 B 和 C,它们就是 A 的两个正样本。

把锚点 \(i\) 的正样本编号收集起来,记作 \(P(i)\)。在这个例子里,\(P(A)=\{B,C\}\),而 \(|P(A)|=2\) 表示集合里有两个正样本。因此 A 的损失是 \(-\log p_{AB}\) 和 \(-\log p_{AC}\) 的平均值。推广到任意有正样本的锚点 \(i\),就得到:

\[ L_i=-\frac{1}{|P(i)|}\sum_{j\in P(i)}\log p_{ij}. \]

如果模型只认得猫图 B,给猫图 C 的概率很低,\(-\log p_{iC}\) 仍然很大,就是说同类中的每个正样本都能提供训练信号。

3. 举个简单的例子

设温度 \(\tau=0.08\)。下面的特征是为手算选取的示例。令 \(v_A=(1,0)\),向量已归一化。

候选 特征 与 A 的相似度 除以温度后的分数
猫 B \((0.8,0.6)\) 0.8 10
猫 C \((0.8,-0.6)\) 0.8 10
狗 \((0.6,0.8)\) 0.6 7.5
以猫 A 为锚点,猫 B、C 与它的夹角相同,各分到 0.4803 的概率;狗与它的夹角较大,分到 0.0394。两个正样本的负对数概率取平均得到 0.7334。

猫 B、C 各自分到 \(e^{10}/(2e^{10}+e^{7.5})\approx0.4803\),所以 \(L_A\approx-(\log 0.4803+\log 0.4803)/2\approx0.7334\)。上图算出的是以猫 A 为锚点的损失 \(L_A\)。训练时,四张图轮流当锚点。换一个锚点,就用它与其余三张图的分数重新算一次 Softmax,再对其中两个正样本的负对数概率取平均。

锚点 候选顺序 分数(点积除以 \(0.08\)) 正样本 锚点损失
猫 A B、C、狗 \(10,\ 10,\ 7.5\) B、C 0.7334
猫 B A、C、狗 \(10,\ 3.5,\ 12\) A、C 5.3771
猫 C A、B、狗 \(10,\ 3.5,\ 0\) A、B 3.2515
狗 A、B、C \(7.5,\ 12,\ 0\) 无 跳过

这一批只有一张狗图,轮到它当锚点时没有正样本,因此跳过这一行。它作为负样本的分数仍参与三只猫各自的 Softmax 分母。传给反向传播的损失,是三个有效锚点的平均值:

\[ L_{\mathrm{batch}}=\frac{L_A+L_B+L_C}{3} \approx\frac{0.7334+5.3771+3.2515}{3}\approx3.1207. \]

4. PyTorch 实现

实际组 batch 时,可为每张图片生成两个视图,或为每个类别抽取至少两个样本,使每个锚点都有正样本。监督对比损失的定义见 Supervised Contrastive Learning。

import torch
import torch.nn.functional as F

# 用可求梯度的示例特征复现手算;实际训练时由编码器输出。
features = torch.tensor([[1., 0.], [0.8, 0.6], [0.8, -0.6], [0.6, 0.8]],
                        requires_grad=True)
labels = torch.tensor([0, 0, 0, 1])
temperature = 0.08

features = F.normalize(features, dim=1)
scores = features @ features.T / temperature
self_mask = torch.eye(len(labels), dtype=torch.bool, device=labels.device)
positive = (labels[:, None] == labels[None, :]) & ~self_mask
valid = positive.any(dim=1)
# 只对有同类伙伴的锚点计算损失。
log_probs = scores[valid].masked_fill(self_mask[valid], -torch.inf).log_softmax(dim=1)
positive = positive[valid]
per_anchor = -log_probs.masked_fill(~positive, 0).sum(dim=1) / positive.sum(dim=1)
loss = per_anchor.mean()
for name, anchor_loss in zip(["猫 A", "猫 B", "猫 C"], per_anchor):
    print(f"{name} 的损失:{anchor_loss.item():.4f}")
print(f"batch 损失:{loss.item():.4f}")  # 3.1207
loss.backward()