PaperReading: CLIP series

原创 paperreading

这篇文章只回答四个问题：模型吃什么数据、结构怎么搭、loss 怎么算、它相对 CLIP 改了什么。背景和完整实验表不展开。

节点按首次 arXiv 时间排列；实线表示直接方法延续，虚线表示范式、目标或 teacher 影响，不代表 checkpoint 继承。

一页总览

方法	训练数据（论文主设定）	核心架构	训练目标	真正新增的能力
CLIP	WIT，400M Web 图文对	image encoder + text Transformer	双向 softmax contrastive loss	开放词表分类、图文检索
CoCa	JFT-3B 标签 + ALIGN 1.8B alt-text	image encoder + unimodal / multimodal decoder	contrastive + captioning	在检索之外增加生成与融合表征
LiT	4B 私有图文对；另有 CC12M + YFCC 公共实验	冻结预训练 image tower，只训练 text tower	CLIP 式 contrastive loss	保住强视觉表征，低成本完成语言对齐
EVA	29.6M 公开图像；CLIP-L/14 作 teacher	1B vanilla ViT	masked CLIP feature regression	强 image encoder 与 dense visual feature
EVA-CLIP	Merged-2B / LAION-2B	EVA 初始化 image tower + 预训练 text tower	CLIP 式 contrastive loss	更快、更稳地训练大规模 CLIP
SigLIP	WebLI 英文子集	CLIP 式 dual encoder	pairwise sigmoid loss	降低全局 softmax 的通信与显存依赖
SigLIP 2	WebLI：10B images、12B alt-texts、109 languages	dual encoder；训练期挂 decoder 与 EMA teacher	sigmoid + LocCa + self-supervised losses	多语言、定位、OCR 与 dense prediction

先记住三条主线：

1. 全局对齐 → 生成与局部理解：CLIP → CoCa；
2. 如何得到并保护强 image tower：CLIP → LiT，以及 EVA → EVA-CLIP；
3. softmax 对比学习 → 独立配对判断 → 稠密监督：CLIP → SigLIP → SigLIP 2。

---

CLIP：建立图文双塔范式

核心配置

• 数据：400M Web 图文对，论文称为 WIT（WebImageText）。使用约 500k 查询词收集，每个查询最多保留 20k 对，以减轻头部概念垄断。
• 图像塔：modified ResNet 或 ViT。最大模型包括 RN50x64、ViT-L/14；ViT 取 class token 作为全局表示。
• 文本塔：12 层 causal Transformer，BPE tokenizer，取 [EOS] token 表示整段文本。
• 投影：两塔输出经过 linear projection 与 L2 normalization，进入同一个 embedding space。
• 训练：从头联合训练，batch size 32,768；Adam、cosine schedule、mixed precision 与 gradient checkpointing。

一个 batch 形成图文相似度矩阵；推理时，类别 prompt 就是动态分类器。

损失函数

给定一个包含 \(N\) 对图文的 batch，归一化后的图像、文本表示为 \(x_i,y_i\)，相似度为

\[ s_{ij}=\frac{x_i^\top y_j}{\tau}. \]

对角线 \((i,i)\) 是正样本，其余 \(N^2-N\) 项是 batch 内负样本。CLIP 同时做 image-to-text 与 text-to-image 分类：

\[ \mathcal{L}_{\text{CLIP}} =-\frac{1}{2N}\sum_{i=1}^{N} \left[ \log\frac{e^{s_{ii}}}{\sum_j e^{s_{ij}}} \mathrel{+} \log\frac{e^{s_{ii}}}{\sum_j e^{s_{ji}}} \right]. \]

\(\tau\) 对应的 logit scale 可学习。关键不是“把正样本拉近”这一句，而是：每张图必须在一整行文本中找到唯一正确项，每段文本也必须在一整列图像中找到唯一正确项。

推理链路

class name → prompt templates → text encoder → class embeddings
image      → image encoder                  → image embedding
                                  cosine similarity → argmax

因此 zero-shot classification 本质上是 image-to-text retrieval。prompt ensemble 能降低单一措辞带来的方差；ViT-L/14@336px 在 ImageNet zero-shot 上达到 76.2% top-1。

一句话结论：CLIP 用自然语言替代固定分类头，但它主要学习的是全局 embedding，对生成、定位和 patch-level dense feature 都没有直接监督。

---

CoCa：在双塔对齐上增加生成路径

核心配置

• 数据：JFT-3B 的分类标签被转成文本，ALIGN 的 1.8B Web 图文对提供 noisy alt-text；下游近重复样本会被过滤。
• 训练方式：所有模块从头、单阶段、端到端训练；batch size 65,536。
• 图像塔：ViT，后接两个 attentional pooler：1 个 query 生成全局 contrastive embedding，256 个 query 为 decoder 保留更丰富的视觉 token。
• 文本侧：causal decoder 被拆为两段。前半段只有 self-attention，得到 text-only embedding；后半段加入对 image tokens 的 cross-attention，用于生成。
• 规模：最大版本 image encoder 约 1B 参数，总计约 2.1B 参数。

同一个计算图同时覆盖 single encoder、dual encoder 与 encoder-decoder 三种使用方式。

损失函数

CoCa 直接相加两类目标：

\[ \mathcal{L}_{\text{CoCa}} =\lambda_{\text{Con}}\mathcal{L}_{\text{Con}} +\lambda_{\text{Cap}}\mathcal{L}_{\text{Cap}}, \qquad \mathcal{L}_{\text{Cap}} =-\sum_t\log p(y_t\mid y_{<t},I). \]

论文主设定为 \(\lambda_{\text{Con}}=1,\lambda_{\text{Cap}}=2\)。

• \(\mathcal{L}_{\text{Con}}\) 作用在单个 image embedding 与 unimodal decoder 的 [CLS] 输出上，保持独立编码和高效检索；
• \(\mathcal{L}_{\text{Cap}}\) 作用在 multimodal decoder 上，通过 teacher forcing 逐 token 预测 caption，提供更细的区域与语言监督。

image → ViT → 1-query pooler   ───────────────┐
                                               ├→ contrastive loss
text  → unimodal decoder → [CLS] embedding ───┘
                  │
                  └→ multimodal decoder ← 256-query visual tokens
                                      └→ captioning loss

一句话结论：CoCa 没有放弃 CLIP 的双塔检索，而是让同一套 image/text computation 继续进入 multimodal decoder，以很小的目标冲突换来 captioning、VQA 和融合表征。

---

LiT：锁住 image tower，只学习语言如何读取视觉空间

核心配置

• image tower 来源：主结果使用 JFT-3B 预训练的 ViT-g/14；论文也验证了 supervised、DINO、MoCo-v3 等不同视觉预训练方式。
• 图文数据：私有主实验收集 4B image–alt-text pairs，训练时可重复采样，主模型累计看过 18B pairs；公开实验使用 CC12M（有效约 10M）与 YFCC100M-CLIP（约 15M 英文高质量子集）。
• 架构：image tower 加载预训练权重后完全冻结；text tower 通常随机初始化并训练；必要时用 linear head 对齐维度。
• loss：仍是 CLIP 的全局双向 softmax contrastive loss。

论文用两个字母表示 image/text tower：L 是 pretrained + locked，U 是 pretrained + unlocked，u 是 random + unlocked。LiT 对应 Lu。

为什么冻结反而更好

clean / self-supervised image data → strong image encoder ── freeze ──┐
                                                                     ├→ contrastive alignment
noisy Web text                 → trainable text encoder ─────────────┘

Uu 能把图文训练集的 contrastive loss 降得更低，却会损害 image representation 的 few-shot quality 和 OOD alignment；Lu 则迫使文本塔适应既有视觉空间，避免 noisy Web pairs 改写已经很强的视觉表示。

image tower 固定后还可以离线预计算 embedding。使用 ViT-g/14 时，LiT 达到 85.2% ImageNet zero-shot 和 82.5% ObjectNet；只看 300M 图文样本时已达到 81.7% ImageNet zero-shot。

一句话结论：当 image encoder 已经足够强、图文数据的主要价值只是提供概念名称时，freeze 是一种表征保护策略，而不只是省算力。

---

EVA：用 masked CLIP feature 预训练强视觉塔

EVA 本身是 vision-only pretraining，不是图文双塔；它与 CLIP 系列的联系是使用 CLIP vision feature 作监督，并能作为 EVA-CLIP 的视觉初始化。

核心配置

• 数据：29.6M 公开图像，来自 ImageNet-21K、CC12M、CC3M、Objects365、COCO 与 ADE20K；训练时只使用图像，不读取 CC/COCO caption。
• teacher：公开的 OpenAI CLIP-L/14 vision tower。teacher 自身在 400M 图文对上训练，因此 EVA 间接吸收了这部分语言对齐知识。
• student：1.0B 参数 vanilla ViT，40 layers、hidden dim 1408、patch size 14。
• 训练：输入 224²，block-wise mask ratio 40%，150 epochs，batch size 4096，AdamW + cosine schedule。

损失函数

设 mask 位置集合为 \(\mathcal{M}\)，student 在位置 \(k\) 的输出为 \(h_k\)，CLIP teacher 的目标特征为 \(c_k\)，\(P\) 是 linear projection：

\[ \mathcal{L}_{\text{EVA}} =-\frac{1}{|\mathcal{M}|}\sum_{k\in\mathcal{M}} \frac{(Ph_k)^\top c_k}{\lVert Ph_k\rVert_2\lVert c_k\rVert_2}. \]

masked image → EVA student → masked-position features ── linear projection ─┐
full image   → frozen CLIP-L/14 teacher → target patch features ────────────┴→ cosine loss

与像素重建相比，CLIP target 带有高层语义；与纯 feature distillation 相比，mask prediction 又迫使模型从可见 patch 推断结构。论文发现 continuous feature regression 已经足够，不需要额外 tokenizer，也不需要单独的 post-distillation pipeline。

一句话结论：EVA 的关键产物是一个兼顾语义与局部结构的强 image encoder，它为下一步大规模 CLIP 训练提供更好的起点。

---

EVA-CLIP：不改 loss，改初始化与训练 recipe

核心配置

• 数据：不同规模使用 LAION-400M、Merged-2B 或 LAION-2B；最大 EVA-02-CLIP-E/14+ 在 LAION-2B 上累计看过 4B / 9B samples。
• 架构：仍是标准 dual encoder。image tower 用 EVA / EVA-02 初始化；text tower 用 OpenAI CLIP 或 OpenCLIP 权重初始化。
• loss：仍是 CLIP 的双向 softmax contrastive loss，没有提出新的对齐目标。
• 优化：LAMB、layer-wise learning-rate decay；image tower 的 peak LR 通常是 text tower 的 10 倍。
• 加速：训练时随机移除 50% image tokens、FlashAttention、ZeRO-1、gradient checkpointing 与 fp16/bfloat16。

这里的 50% masking 来自 FLIP 思路：被移除的是输入 image tokens，图文配对目标没有改变。它减少 attention 计算并允许更大 batch，不等同于 EVA 的 masked feature reconstruction。

与 LiT 的区别

	LiT	EVA-CLIP
image tower	完全冻结	强初始化后继续训练
目标	保护已有视觉空间	让视觉空间继续适配大规模图文数据
主要收益	稳健、可预计算	更高上限、更快收敛

在 ViT-B/16 ablation 中，EVA initialization 用约一半 seen samples 带来 1.8 个点提升；换成 LAMB 再提升 0.7 个点；50% token masking 约损失 0.7 个点，但训练速度约提升 2 倍；FlashAttention 再减少约 15% 时间。最终 430M 参数的 EVA-02-CLIP-L/14+ 在 6B samples seen 后达到 80.4%，5.0B 参数 E/14+ 在 9B samples seen 后达到 82.0% ImageNet zero-shot。

一句话结论：EVA-CLIP 的贡献是一套 billion-scale CLIP recipe，而不是新的模型接口或损失函数。

---

SigLIP：把全局多分类改成独立二分类

核心配置

• 数据：WebLI 的 mostly-English 子集；论文也训练了保留 100+ languages 的 mSigLIP。
• 架构：仍是 image encoder + text encoder；主 ablation 使用 ViT-B/16 与 B-sized text Transformer。
• 训练：from-scratch SigLIP 的 batch-size 实验累计看过 9B examples；32k 左右已经接近最优。
• 唯一关键变化：用 pairwise sigmoid loss 替换 CLIP 的 row/column softmax。

损失函数

令 \(z_{ij}=1\) 表示匹配 pair，\(z_{ij}=-1\) 表示不匹配：

\[ \mathcal{L}_{\text{SigLIP}} =-\frac{1}{N}\sum_{i=1}^{N}\sum_{j=1}^{N} \log\sigma\left(z_{ij}\left(t x_i^\top y_j+b\right)\right). \]

\(t\) 是可学习 scale，\(b\) 是可学习 bias。论文默认初始化为 \(t=10,b=-10\)：一个 batch 只有 \(N\) 个 positive，却有 \(N(N-1)\) 个 negative，负 bias 能在训练初期反映这种类别先验，避免优化被海量负样本带偏。

	CLIP	SigLIP
问题定义	每行/列找唯一正确项	每个 pair 独立判断 match / mismatch
归一化	row/column softmax	sigmoid，无候选间归一化
分布式计算	通常需要全局 logits	可 ring exchange / chunk 累加
batch size	同时决定候选集合	与 loss 定义解耦，32k 已基本饱和

推理时仍按 image-text similarity 排序。sigmoid(logit) 是每个 pair 的独立 matching score，不是候选类别上和为 1 的概率分布。

一句话结论：SigLIP 最重要的不是换了激活函数，而是把 batch 内全局多分类拆成可独立计算的 pair classification，从而降低大规模分布式训练的通信和显存压力。

---

SigLIP 2：保留双塔接口，把局部监督塞进训练阶段

核心配置

• 数据：WebLI，10B images、12B alt-texts、109 languages；90% pairs 来自 English pages，10% 来自 non-English pages，并加入去偏过滤。
• 主架构：image/text tower 都沿用 SigLIP 风格的 ViT + MAP attention pooling；text length 64，使用 256k multilingual Gemma tokenizer。
• 规模：B、L、So400m、g 四档，最大 vision encoder 1B 参数。
• 训练：默认输入 256²、patch size 16、batch size 32k，累计 40B examples；训练期最多使用 2048 TPUv5e。
• 发布接口：只发布 dual encoder；辅助 decoder、EMA teacher 和 prediction heads 不进入最终 checkpoint。

Sigmoid 与 LocCa loss 全程训练；self-distillation 和 masked prediction 只在最后 20% 加入。

分阶段训练目标

前 80% 训练把 SigLIP 与 LocCa 等权相加：

\[ \mathcal{L}_{0:80\%} =\mathcal{L}_{\text{SigLIP}}+\mathcal{L}_{\text{LocCa}}. \]

LocCa decoder cross-attend 到 pooling 前的 image tokens，同时学习三件事：

• image captioning：整图生成描述；
• automatic referring expression prediction：区域描述 \(\rightarrow\) bounding box；
• grounded captioning：bounding box \(\rightarrow\) 区域描述。

最后 20% 加入 image-only self-supervised objectives：

\[ \mathcal{L}_{80:100\%} =\mathcal{L}_{\text{SigLIP}}+\mathcal{L}_{\text{LocCa}} +\alpha\left(\mathcal{L}_{\text{distill}}+0.25\mathcal{L}_{\text{mask}} \right). \]

• global-local self-distillation：EMA teacher 看 1 个 global view，student 看 8 个 local views，对齐 pooled representation；
• masked prediction：student 的 50% image patches 替换成 mask tokens，在相应位置预测 teacher patch feature；
• \(\alpha\) 随模型大小调整，B/L/So400m/g 分别为 0.25/0.5/1.0/0.5。

这两个目标直接优化 pooling 前的 patch features，因此 segmentation、depth estimation 等 dense tasks 能受益；LocCa 则主要补 localization、OCR 与 region semantics。

Resolution adaptation 与 NaFlex

• fixed-resolution checkpoint 在总训练进度 95% 时 resize positional / patch embedding，再用全部 losses 适配目标分辨率；
• NaFlex 在 90% 处切换到多种 sequence length，尽量保留原始 aspect ratio，适合 document/OCR；
• 为控制复杂度，NaFlex 阶段不使用 self-distillation 与 masked prediction。

相同规模下，SigLIP 2 普遍优于 SigLIP：例如 B/16@224 的 ImageNet zero-shot 从 76.2% 提升到 78.2%，So400m/14@384 达到 84.1%，g/16@384 达到 85.0%。更重要的是，提升同时出现在 retrieval、VLM vision encoder、open-vocabulary detection、segmentation 与 depth estimation，而不只是 ImageNet。

一句话结论：SigLIP 2 的设计重点是“训练重、发布轻”——用 decoder 和 teacher 提供局部监督，最终仍保持可直接替换 SigLIP 的双塔推理接口。

---

如何选择

需求	更直接的选择	原因
zero-shot classification / 大规模检索	CLIP、SigLIP	双塔可离线编码；SigLIP 更易做分布式 pairwise loss
已经有很强的视觉 backbone，只需语言对齐	LiT	image feature 可冻结和预计算
从头构建高质量视觉 backbone	EVA	masked CLIP feature 同时提供语义与局部结构
训练更大的 CLIP	EVA-CLIP	强初始化 + LAMB + token masking + FlashAttention
captioning / VQA / 融合式理解	CoCa	multimodal decoder 在模型内保留
localization、OCR、segmentation 或 VLM vision encoder	SigLIP 2	训练期显式优化 region 与 patch-level features

最后可以把整组论文压缩为一句话：CLIP 定义全局图文对齐；CoCa 给它生成路径，LiT/EVA/EVA-CLIP处理视觉塔的保护、预训练与扩展，SigLIP 重写配对损失，SigLIP 2 再把局部、多语言和稠密表征补齐。

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Aug 13, 2026 08:41 pm