VILA series

原创 paperreading

• VILA: On Pre-training for Visual Language Models
• X-VILA: Cross-Modality Alignment for Large Language Model
• VILA2: VILA Augmented VILA
• LongVILA: Scaling Long-Context Visual Language Models for Long Videos
• VILA-U: a Unified Foundation Model Integrating Visual Understanding and Generation

VILA

1. 特点

• interleave 的 image 和 text 对 zero-shot 的重要性
• interleave 的 image 和 text 能缓解对 text-only task 的性能退化

2. 模型结构

vison-linear-llm 结构

3. 训练

• 只有 image-text 数据会造成模型在纯文本任务上的性能退化，再加入 text-only 数据即可恢复
• paper 中表明，加入 text-only 的数据也能提升 vision language 的性能

VILA2

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Dec 19, 2024 12:13 pm