NVIDIA 显卡对比

原创

NVIDIA 显卡核心参数对比

FP16、BF16 和 TF32 均表示 Tensor Core 稠密理论峰值，统一采用 FP32 累加；FP32 表示 CUDA Core 单精度理论峰值。所有计算性能单位均为 TFLOPS。

显卡型号	架构	显存容量	显存带宽	功耗	NVLink 速度	FP16 Tensor	FP32	BF16 Tensor	TF32 Tensor
RTX 2080	Turing	8 GB GDDR6	448 GB/s	225 W	100 GB/s	40.3	10.1	不支持	不支持
RTX 3090	Ampere	24 GB GDDR6X	936 GB/s	350 W	112.5 GB/s	71.2	35.6	71.2	35.6
RTX 4090	Ada Lovelace	24 GB GDDR6X	1008 GB/s	450 W	不支持	165.2	82.6	165.2	82.6
RTX 5090	Blackwell	32 GB GDDR7	1792 GB/s	575 W	不支持	209.5	104.8	209.5	104.8
V100 PCIe	Volta	16 / 32 GB HBM2	900 GB/s	250 W	不支持	112	14.0	不支持	不支持
V100 SXM2	Volta	16 / 32 GB HBM2	900 GB/s	300 W	300 GB/s	125	15.7	不支持	不支持
A10	Ampere	24 GB GDDR6	600 GB/s	150 W	不支持	125	31.2	125	62.5
A100 PCIe 40GB	Ampere	40 GB HBM2	1555 GB/s	250 W	600 GB/s	312	19.5	312	156
A100 PCIe 80GB	Ampere	80 GB HBM2e	1935 GB/s	300 W	600 GB/s	312	19.5	312	156
A100 SXM 40GB	Ampere	40 GB HBM2	1555 GB/s	400 W	600 GB/s	312	19.5	312	156
A100 SXM 80GB	Ampere	80 GB HBM2e	2039 GB/s	400 W	600 GB/s	312	19.5	312	156
A800 40GB Active	Ampere	40 GB HBM2	1555.2 GB/s	240 W	400 GB/s	约 312	19.5	约 312	约 156
H100 SXM 80GB	Hopper	80 GB HBM3	3350 GB/s	最高 700 W	900 GB/s	989.5	67	989.5	494.5
H100 NVL 94GB	Hopper	94 GB HBM3	3900 GB/s	350～400 W	600 GB/s	835.5	60	835.5	417.5
H200 SXM 141GB	Hopper	141 GB HBM3e	4800 GB/s	最高 700 W	900 GB/s	989.5	67	989.5	494.5
H200 NVL 141GB	Hopper	141 GB HBM3e	4800 GB/s	最高 600 W	900 GB/s	835.5	60	835.5	417.5
A800 PCIe 80GB	Ampere	80 GB HBM2e	1935 GB/s	300 W	400 GB/s	312	19.5	312	156
A800 SXM4 80GB	Ampere	80 GB HBM2e	2039 GB/s	最高 500 W	400 GB/s	312	19.5	312	156
H20 SXM5 96GB	Hopper	96 GB HBM3	约 4000 GB/s	最高 500 W	900 GB/s	约 148	约 44	约 148	约 74
H20-3e 141GB	Hopper	141 GB HBM3e	约 4000～4800 GB/s	约 400～500 W	约 900 GB/s	约 148	约 44	约 148	约 74

指标说明

• 显存容量决定模型能否装入显存，以及 batch size、输入分辨率和上下文长度可以设置多大。
• 显存带宽影响参数读取、Attention、KV Cache 和大规模张量运算的吞吐。
• FP32是普通 CUDA Core 的单精度理论算力。
• FP16、BF16、TF32是 Tensor Core 的稠密理论算力，不包含结构化稀疏带来的二倍加速。
• NVLink 速度表示每块 GPU 的理论双向聚合带宽，不代表 NCCL 通信能够达到相同的实际速度。
• RTX 2080 和 RTX 3090 的 NVLink 主要用于双卡直连；RTX 4090 和 RTX 5090 已取消 NVLink。
• A100 PCIe 需要安装对应的 NVLink Bridge 才能使用 NVLink；SXM 型号通常通过 HGX 平台上的 NVLink/NVSwitch 互联。
• H100、H200 官方页面主要展示启用结构化稀疏后的 Tensor Core 性能，表中已除以 2，换算为稠密理论性能。
• A800 40GB Active 官方未分别公布 FP16、BF16 和 TF32 峰值，表中数值依据其 Ampere Tensor Core 配置和官方总体 Tensor 性能换算，因此标记为“约”。

本文由 Yonghui Wang 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: Aug 03, 2026 09:22 pm