现在我有两台服务器，一台服务器 B 能够稳定连接 GPT 等外网服务，但是我本地连接他比较慢，另一台服务器 A 我连接他比较快，而且 A 连接 ...

以 Qwen2-VL 为例，介绍如何使用 vLLM 部署大模型并提供 OpenAI 兼容的接口服务. 环境安装 有几个坑，对于 qwen2-vl...

这部分讲一下 VLM 训练的逻辑，例如常见的 LLaVA，Qwen-VL 等等，从图文提取，图文处理和训练逻辑等方面进行介绍，后面的介绍还是以 ...

InternVL: Learning Transferable Visual Models From Natural Language Sup...

什么是 sub_group_size 参数？ 在分布式深度学习中，NVIDIA 的 DeepSpeed 和 NCCL 是常用的深度学习优化工具，...

旋转位置编码（简称 RoPE）是一种用于 Transformer 类模型的相对位置编码方法，在像 Llama 等模型中被广泛应用。 1. 1D ...

这篇文章只回答四个问题：模型吃什么数据、结构怎么搭、loss 怎么算、它相对 CLIP 改了什么。背景和完整实验表不展开。 节点按首次 ar...

强化学习回顾 在阅读本文之前，强烈建议先学习一下 PPO 算法，不然后面可能会听的云里雾里。本文参考知乎博客《RLHF 的 PPO 算法解析》 ...

基本概念 在讲解强化学习算法之前，需要先了解一些基本概念，方便我们后续算法的理解 1. 蒙特卡洛算法 蒙特卡罗（Monte Carlo Meth...

1. 背景 在现代计算机架构中，内存层次结构是影响系统性能的核心因素之一。从PC到服务器，再到用于AI和高性能计算的GPU加速器，不同层次的内存...

在没有图形界面的情况下，通过 SSH 连接到 Ubuntu 是可以的，但如果你希望通过 Windows 或 Mac 上的远程桌面访问 Ubunt...

打开公网服务器的UDP服务 wireguard 可以用来进行组网，如上所示，我有一个带有公网 IP 的服务器 server，同时我还有两个...