linux 基本命令 1. 登录服务器 内网：ssh root@ip 外网：ssh -p 端口号 root@ip 2. 删除移动复制 删除...

1. linux 服务器相关 查看当前文件夹及其子文件夹的数量: ls -lR | grep -c "^-" kill 了...

全部大写字母改为小写，同时不要加句号 import torch from transformers import AutoModel, Auto...

什么是 sub_group_size 参数？ 在分布式深度学习中，NVIDIA 的 DeepSpeed 和 NCCL 是常用的深度学习优化工具，...

旋转位置编码（简称 RoPE）是一种用于 Transformer 类模型的相对位置编码方法，在像 Llama 等模型中被广泛应用。 1. 1D ...

Learning Transferable Visual Models From Natural Language Supervision C...

强化学习回顾 在阅读本文之前，强烈建议先学习一下 PPO 算法，不然后面可能会听的云里雾里。本文参考知乎博客《RLHF 的 PPO 算法解析》 ...

基本概念 在讲解强化学习算法之前，需要先了解一些基本概念，方便我们后续算法的理解 1. 蒙特卡洛算法 蒙特卡罗（Monte Carlo Meth...

Seed1.5-VL 1. 基本介绍 先是 Abstract 部分可以获得的信息： Seed1.5-VL，这是一款多模态基础模型，专为促进通用的...

1. 背景 在现代计算机架构中，内存层次结构是影响系统性能的核心因素之一。从PC到服务器，再到用于AI和高性能计算的GPU加速器，不同层次的内存...