提供哈尔滨网站建设服务,wordpress 进管理页面,上海品牌战略咨询公司,flash里鼠标可以跟随到网站上就不能跟随了AI时代显卡如何选择#xff0c;B100、H200、L40S、A100、H100、V100 含架构技术和性能对比。
英伟达系列显卡大解析B100、H200、L40S、A100、A800、H100、H800、V100如何选择#xff0c;含架构技术和性能对比带你解决疑惑。
近期#xff0c;AIGC领域呈现出一片繁荣景象B100、H200、L40S、A100、H100、V100 含架构技术和性能对比。
英伟达系列显卡大解析B100、H200、L40S、A100、A800、H100、H800、V100如何选择含架构技术和性能对比带你解决疑惑。
近期AIGC领域呈现出一片繁荣景象其背后离不开强大算力的支持。以ChatGPT为例其高效的运行依赖于一台由微软投资建造的超级计算机。这台超级计算机配备了数万个NVIDIA A100 GPU并利用60多个数据中心的数十万个GPU辅助为ChatGPT提供了强大的算力支持。这种规模的算力部署不仅体现了AIGC技术的先进性也预示着人工智能技术未来的发展趋势。这种集成了高性能计算、大数据处理和人工智能算法的超级计算机将成为推动科技进步的重要引擎。 1.GPU 的核心架构及参数 在了解 V100、A100、H100 这几款 GPU 的区别之前我们先来简单了解下 NVIDIA GPU 的核心参数这样能够更好地帮助我们了解这些 GPU 的差别和各自的优势。
CUDA CoreCUDA Core 是 NVIDIA GPU 上的计算核心单元用于执行通用的并行计算任务是最常看到的核心类型。NVIDIA 通常用最小的运算单元表示自己的运算能力CUDA Core 指的是一个执行基础运算的处理元件我们所说的 CUDA Core 数量通常对应的是 FP32 计算单元的数量。 Tensor CoreTensor Core 是 NVIDIA Volta 架构及其后续架构如 Ampere 架构中引入的一种特殊计算单元。它们专门用于深度学习任务中的张量计算如[矩阵乘法]和卷积运算。Tensor Core 核心特别大通常与深度学习框架如 TensorFlow 和 PyTorch相结合使用它可以把整个矩阵都载入寄存器中批量运算实现十几倍的效率提升。 RT CoreRT Core 是 NVIDIA 的专用硬件单元主要用于加速光线追踪计算。正常数据中心级的 GPU 核心是没有 RT Core 的主要是消费级显卡才为光线追踪运算添加了 RTCores。RT Core 主要用于游戏开发、电影制作和虚拟现实等需要实时渲染的领域。 V100 是前一代的算力大哥 而 H100 则是新一代的大哥这些架构区别
Volta 架构Volta 架构是 NVIDIA GPU 的第六代架构发布于 2017 年。Volta 架构专注于深度学习和人工智能应用并引入了 Tensor Core。 Turing 架构Turing 架构是 NVIDIA GPU 的第七代架构发布于 2018 年。Turing 架构引入了实时光线追踪RTX和深度学习超采样DLSS等重要功能。 Ampere 架构Ampere 架构是 NVIDIA GPU 的第八代架构2020 年发布。Ampere 架构在计算能力、能效和深度学习性能方面都有重大提升。Ampere 架构的 GPU 采用了多个[流多处理器]SM和更大的总线宽度提供了更多的 CUDA Core 和更高的频率。它还引入了第三代 Tensor Core提供更强大的深度学习计算性能。Ampere 架构的 GPU 还具有更高的内存容量和带宽适用于大规模的数据处理和机器学习任务。 Hopper 架构Hopper 架构是 NVIDIA GPU 的第九代架构2022 年发布。相较于 AmpereHopper 架构支持第四代 Tensor Core且采用新型流式处理器每个 SM 能力更强。Hopper 架构在计算能力、深度学习加速和图形功能方面带来新的创新和改进。 1.1 V100 vs A100 vs H100 在了解了 GPU 的核心参数和架构后我们接下来的对比理解起来就简单多了。
1.1.1 V100 vs A100 V100 是 NVIDIA 公司推出的[高性能计算]和人工智能加速器属于 Volta 架构它采用 12nm FinFET 工艺拥有 5120 个 CUDA 核心和 16GB-32GB 的 HBM2 显存配备第一代 Tensor Cores 技术支持 AI 运算。
A100 采用全新的 Ampere 架构。它拥有高达 6912 个 CUDA 核心和 40GB 的高速 HBM2 显存。A100 还支持第二代 NVLink 技术实现快速的 GPU 到 GPU 通信提升大型模型的训练速度。A100 增加了功能强大的新第三代 Tensor Core同时增加了对 DL 和 HPC 数据类型的全面支持以及新的稀疏功能可将吞吐量进一步翻倍。
A100 中的 TF32 Tensor Core 运算提供了一种在 DL 框架和 HPC 中加速 FP32 输入 / 输出数据的简单路径其运行速度比 V100 FP32 FMA 运算快 10 倍或者在稀疏性的情况下快 20 倍。对于 FP 16/FP 32 混合精度 DLA100 的性能是 V100 的 2.5 倍稀疏性的情况下提高到 5 倍。
在跑 AI 模型时如果用 PyTorch 框架相比上一代 V100 芯片A100 在 BERT 模型的训练上性能提升 6 倍BERT 推断时性能提升 7 倍。
架构A100采用了最新的Ampere架构而V100则采用了前一代的Volta架构。Ampere架构相对于Volta架构具有更高的计算密度、更多的CUDA核心和更快的内存带宽因此A100在计算能力上更强。
计算能力A100的浮点计算能力达到19.5 TFLOPSFP32和156 TFLOPSTensorFloat-32而V100的浮点计算能力为14.1 TFLOPSFP32。这意味着A100在相同的工作负载下可以实现更高的计算性能。
Tensor CoreA100显卡引入了第三代Tensor Core技术相较于V100的第二代Tensor CoreA100的Tensor Core在混合精度计算和矩阵乘法运算方面更加高效。这使得A100在深度学习训练和推理中具有更好的性能优势。
内存容量和带宽A100显卡拥有40 GB或80 GB的HBM2E高带宽存储器内存带宽达到1.6 TB/s。而V100显卡则有16 GB或32 GB的HBM2存储器内存带宽为900 GB/s。A100的更大内存容量和更高带宽可以处理更大规模的数据集和复杂的计算任务。
NVLink连接A100支持第三代NVLink技术提供了高速的GPU互连通信可在多个A100显卡之间实现更快的数据传输和并行计算。而V100则支持第二代NVLink。
1.1.2 A100 vs H100 NVIDIA H100 采用 NVIDIA Hopper GPU 架构使 NVIDIA 数据中心平台的加速计算性能再次实现了重大飞跃。H100 采用专为 NVIDIA 定制的 TSMC 4N 工艺制造拥有 800 亿个 [晶体管]并包含多项架构改进。
H100 是 NVIDIA 的第 9 代数据中心 GPU旨在为大规模 AI 和 HPC 实现相比于上一代 NVIDIA A100 Tensor Core GPU 数量级的性能飞跃。H100 延续了 A100 的主要设计重点可提升 AI 和 HPC 工作负载的强大扩展能力并显著提升架构效率。
1.1.3 A800 和 H800 从数字上来看800 比 100 数字要大其实是为了合规对 A100 和 H100 的某些参数做了调整。A800 相对比 A100 而言仅限制了 GPU 之间的互联带宽从 A100 的 600GB/s 降至 400GB/s算力参数无变化。而 H800 则对算力和[互联带宽]都进行了调整。
A800 虽然在互联带宽上有所降低但和 A100 在双精方面算力一致在[高性能科学计算]领域没有影响。
1.1.4 H800 VS H100 作为 H100 的替代品中国特供版 H800PCIe 版本 SXM 版本都是在双精度FP64和 nvlink 传输速率的削减其他其他参数和 H100 都是一模一样的。
FP64 上的削弱主要影响的是 H800 在科学计算流体计算[有限元分析](等超算领域的应用深度学习等应用主要看单精度的浮点性能大部分场景下性能不受影响。而受到影响较大的还是 NVlink 上的削减但是因为架构上的升级虽然比不上同为 Hopper 架构的 H100但是比 ampere 架构的 A800 还是要强上不少的。
1.2 A100 vs H100G细解 1.2.1 新的 SM 架构 H100 SM 基于 NVIDIA A100 Tensor Core GPU SM 架构而构建。由于引入了 FP8与 A100 相比H100 SM 将每 SM 浮点计算能力峰值提升了 4 倍并且对于之前所有的 Tensor Core 和 FP32 / FP64 数据类型将各个时钟频率下的原始 SM 计算能力增加了一倍。
与上一代 A100 相比采用 Hopper 的 FP8 Tensor Core 的新 Transformer 引擎使大型语言模型的 AI 训练速度提升 9 倍AI 推理速度提升 30 倍。针对用于基因组学和[蛋白质测序]的 Smith-Waterman 算法Hopper 的新 DPX 指令可将其处理速度提升 7 倍。
1.2.2 第四代 Tensor Core 架构 Hopper 新的第四代 Tensor Core、Tensor 内存加速器以及许多其他新 SM 和 H100 架构的总体改进在许多其他情况下可令 HPC 和 AI 性能获得最高 3 倍的提升。
与 A100 相比H100 中新的第四代 Tensor Core 架构可使每时钟每个 SM 的原始密集计算和[稀疏矩阵]运算吞吐量提升一倍考虑到 H100 比 A100 拥有更高的 GPU 加速频率其甚至会达到更高的吞吐量。其支持 FP8、FP16、BF16、TF32、FP64 和 INT8 MMA 数据类型。新的 Tensor Core 还能够实现更高效的数据管理最高可节省 30% 的操作数传输功耗。
1.2.3 Hopper FP8 数据格式 H100 GPU 增加了 FP8 Tensor Core可加速 AI 训练和推理。FP8 Tensor Core 支持 FP32 和 FP16 累加器以及两种新的 FP8 输入类型E4M3具有 4 个[指数位]、3 个尾数位和 1 个符号位和 E5M2具有 5 个指数位、2 个尾数位和 1 个符号位。E4M3 支持动态范围更小、精度更高的计算而 E5M2 可提供更宽广的动态范围和更低的精度。与 FP16 或 BF16 相比FP8 可将所需要的数据存储空间减半并将吞吐量提升一倍。
新的 Transformer 引擎可结合使用 FP8 和 FP16 精度减少内存使用并提高性能同时仍能保持大型语言模型和其他模型的准确性。
综合 H100 中所有新的计算技术进步的因素H100 的计算性能比 A100 提高了约 6 倍。首先是 H100 配备 132 个 SM比 A100 的 108 个 SM 增加了 22%。由于采用新的第四代 Tensor Core每个 H100 SM 的速度都提升了 2 倍。在每个 Tensor Core 中新的 FP8 格式和相应的 Transformer 引擎又将性能提升了 2 倍。最后H100 中更高的时钟频率将性能再提升了约 1.3 倍。通过这些改进总体而言H100 的峰值[计算吞吐量]大约为 A100 的 6 倍。
1.2.4 NVLink Switch 系统升级 为了加快业务速度百亿亿次级 HPC 和万亿参数的 AI 模型需要[服务器集群]中每个 GPU 之间高速、无缝的通信以实现大规模加速。
第四代 NLVink 是一种[纵向扩展互联技术]当与新的外部 NVLlink [交换机]结合使用时NVLink Switch 系统现在可以跨多个服务器以每个 GPU 900 GB/s 的双向带宽扩展多 GPU IO比 PCIe 5.0 的带宽高 7 倍。NVLINK Switch 系统支持多达 256 个相互连接的 H100 组成的集群且带宽比 Ampere 架构上的 InfiniBard HDR 高 9 倍。
第三代 NVSwitch 技术包括驻扎在节点内部和外部的交换机用于连接服务器、集群和数据中心环境中的多个 GPU。 节点内的每个 NVSwitch 提供 64 个第四代 NVLink 链接端口以加速多 GPU 连接。交换机的总吞吐量从上一代的 7.2 Tbits / 秒增加到 13.6 Tbits / 秒。新的第三代 NVSwitch 技术还为多播和 NVIDIA SHARP 网内还原的集体操作提供了硬件加速。
新的 NVLink 互连和基于第三代 NVSwitch 技术的新的二级 NVLink Switches 引入了[地址空间]隔离和保护使多达 32 个节点或 256 个 GPU 能够通过 NVLink 以 2:1 的锥形树状拓扑连接起来。
总结一下相比 A100H100 更受欢迎因为[缓存延迟]更低和计算效率更高。效率提升 3 倍的情况下成本只有只有1.5-2 倍。从技术细节来说比起 A100H100 在 16 位推理速度大约快 3.5 倍16 位训练速度大约快 2.3 倍。
2.目前主流四款GPU详解[A100、H100 、L40S、H2002024 ] 项目 A100 H100 L40S H200 架构 Ampere Hopper Ada Lovelace Hopper 发布时间 2020 2022 2023 2024 FP64 9.7 TFLOPS 34 TFLOPS 暂无 34 TFLOPS FP64 向量核心 19.5 TFLOPS 67 TFLOPS 暂无 67 TFLOPS FP32 19.5 TFLOPS 67 TFLOPS 91.6 TFLOPS 67 TFLOPS TF32 向量核心 312 TFLOPS 989 TFLOPS 183 366* TFLOPS BFLOAT16 向量核心 624 TFLOPS 1,979 TFLOPS 362.05 733* TFLOPS FP16 向量核心 624 TFLOPS 1,979 TFLOPS 362.05 733* TFLOPS FP8 向量核心 不适用 3,958 TFLOPS 733 1,466* TFLOPS INT8 向量核心 1248 TOPS 3,958 TOPS 733 1,466* TFLOPS INT4 向量核心 暂无 暂无 733 1,466* TFLOPS GPU 内存 80 GB HBM2e 80 GB 48GB GDDR6 带有 ECC 141GB HBM3e GPU 内存带宽 2,039 Gbps 3.35 Tbps 864 Gbps 4.8 Tbps 解码器 Not applicable 7 NVDEC 7 JPEG Not applicable 7 NVDEC 7 JPEG 最高 TDP 400W 700W 350W 700W 多实例 GPU 最高 7 MIGs 10 GB 最高 7 MIGs 10 GB each 无 最高 7 MIGs 16.5 GB each 外形尺寸 SXM SXM 4.4“(H) x 10.5” (L), dual slot SXM** 互联技术 NVLink: 600 GB/s PCIe Gen4: 64 GB/s NVLink: 900GB/s PCIe Gen5: 128GB/s PCIe Gen4 x16: 64GB/s bidirectional NVIDIA NVLink®: 900GB/s PCIe Gen5: 128GB/s 服务器平台选项 NVIDIA HGX™ A100-Partner and NVIDIA-Certified Systems with 4,8, or 16 GPUs NVIDIA DGX™ A100 with 8 GPUs NVIDIA HGX H100 Partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs NVIDIA DGX H100 with 8 GPUs 暂无 NVIDIA HGX™ H200 partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs NVIDIA AI Enterprise Included Add-on 暂无 Add-on CUDA 核心数 6,912 16,896 18,176 暂无 2.1 A1002020 A100 是 2020 年首次采用 Ampere 架构的 GPU这种架构带来显著的性能提升。在 H100 发布之前A100 一览众山小。它的性能提升得益于改进的 Tensor 核心、更多的 CUDA 核心数量、更强的内存和最快的 2 Tbps 内存带宽。
针对大型模型提供高达 3 倍的 AI 训练速度
A100 支持多实例 GPU 功能允许单个 A100 GPU 分割成多个独立的小 GPU这大大提升了云和数据中心的资源分配效率。A100 在训练复杂的神经网络、深度学习和 AI 学习任务方面仍然是一个优秀的选择它的 Tensor 核心和高吞吐量在这些领域表现出色。A100 在 AI 推理任务方面表现突出在语音识别、图像分类、推荐系统、数据分析和大数据处理、科学计算场景都有优势在基因测序和药物发现等高性能计算场景也都属于优势领域。
深度学习推理 A100 引入了突破性的功能来优化推理工作负载。它能在从 FP32 到 INT4 的整个精度范围内进行加速。多实例 GPU (MIG) 技术允许多个网络同时基于单个 A100 运行从而优化计算资源的利用率。在 A100 其他推理性能增益的基础之上仅结构稀疏支持一项就能带来高达两倍的性能提升。在 BERT 等先进的对话式 AI 模型上A100 可将推理吞吐量提升到高达 CPU 的 249 倍。在受到批量大小限制的极复杂模型例如用于自动语音识别用途的 RNN-T上显存容量有所增加的 A100 80GB 能使每个 MIG 的大小增加一倍并提供比 A100 40GB 高 1.25 倍的吞吐量。NVIDIA 产品的出色性能在 MLPerf 推理测试中得到验证。A100 再将性能提升了 20 倍进一步扩大了这种性能优势。 2.2 H1002022 H100 能处理最具挑战性的 AI 工作负载和大规模数据处理任务。H100 升级了 Tensor 核心显著提高了 AI 训练和推理的速度。支持双精度FP64、单精度FP32、半精度FP16和整数INT8计算负载。
相比 A100FP8 计算速度提升六倍达到 4petaflops。内存增加 50%使用 HBM3 高带宽内存带宽可达 3 Tbps外部连接速度几乎达到 5 Tbps。此外新的 Transformer 引擎使模型转换器训练速度提升高达六倍。
尽管 H100 和 A100 在使用场景和性能特点上有相似之处但 H100 在处理大型 AI 模型和更复杂的科学模拟方面表现更佳。H100 是高级对话式 AI 和实时翻译等实时响应型 AI 应用的更优选择。
总之H100 在 AI 训练和推理速度、内存容量和带宽、以及处理大型和复杂 AI 模型方面相比 A100 有显著的性能提升适用于对性能有更高要求的 AI 和科学模拟任务。
2.3 L40S2023
L40S 旨在处理下一代数据中心工作负载包括生成式 AI、大型语言模型LLM的推理和训练3D 图形渲染、科学模拟等场景。与前一代 GPU如 A100 和 H100相比L40S 在推理性能上提高了高达 5 倍在实时光线追踪RT性能上提高了 2 倍。内存方面它配备 48GB 的 GDDR6 内存还加入了对 ECC 的支持在高性能计算环境中维护数据完整性还是很重要的。L40S 配备超过 18,000 个 CUDA 核心这些并行处理器是处理复杂计算任务的关键。L40S 更注重可视化方面的编解码能力而 H100 则更专注于解码。尽管 H100 的速度更快但价格也更高。从市场情况来看L40S 相对更容易获得。综上所述L40S 在处理复杂和高性能的计算任务方面具有显著优势特别是在生成式 AI 和大型语言模型训练等领域。其高效的推理性能和实时光线追踪能力使其成为数据中心不可忽视的存在。
2.4 H2002024 200 将是 NVIDIA GPU 系列中的最新产品预计在 2024 年第二季度开始发货。NVIDIA H200 Tensor Core GPU 具有改变游戏规则的性能和内存功能可增强生成式 AI 和高性能计算 (HPC) 工作负载。作为首款采用 HBM3e 的 GPUH200 借助更大更快的内存可加速生成式 AI 和大型语言模型 (LLM) 的运行同时推进 HPC 工作负载的科学计算。
NVIDIA H200 和 H100 GPU 采用 Transformer 引擎FP8 精度与上一代 GPU 相比可助力大语言模型的训练速度最高提升至原来的 5 倍。通过结合使用能够提供 900GB/s GPU 间互连的第四代 NVLink、PCIe 5.0 以及 Magnum IO™ 软件小型企业可高效扩展为大规模统一 GPU 集群。这些基础架构技术进步能够与 NVIDIA AI Enterprise 软件套件协同发挥作用让 HGX H200 和 HGX H100 成为卓越的 AI 计算平台。
NVIDIA H200 基于 NVIDIA Hopper 架构与 H100 相互兼容这意味着已经使用先前模型进行训练的人工智能公司将无需更改其服务器系统或软件即可使用新版本。
H200 是首款提供 141 GB HBM3e 内存和 4.8 Tbps 带宽的 GPU其内存容量和带宽分别几乎是 H100 的 2 倍和 1.4 倍。
在高性能计算方面与 CPU 相比H200 能实现高达 110 倍的加速从而更快地得到结果。在处理 Llama2 70B 推理任务时H200 的推理速度是 H100 GPU 的两倍。
运行 GPT-3 等模型时NVIDIA H200 Tensor Core GPU 的推理性能提高了 18 倍。不仅如此在其他生成式 AI 基准测试中还能在 Llama2-13B 上每秒可处理 12000 个 tokens。
参考链接 https://www.zhihu.com/question/618932114/answer/3211844003
https://zhuanlan.zhihu.com/p/680317363
https://www.nvidia.cn/data-center/a100/
https://www.nvidia.cn/data-center/h100/
https://www.nvidia.cn/data-center/l40s/
https://www.nvidia.com/en-au/data-center/h200/
