随着基于NVIDIA Hopper架构的NVIDIA HGX H200的推出，NVIDIA的AI计算平台得到了重大升级。它配备 NVIDIA H200 Tensor Core GPU，可以快速处理大量数据。这对于需要高性能计算的工作负载以及生成式人工智能任务至关重要。

NVIDIA 表示，“H200 是首款提供 HBM3e 的 GPU，HBM3e 速度更快、内存更大，可加速生成式 AI 和大型语言模型，同时推进 HPC 工作负载的科学计算。” 正是由于 HBM3e 的进步，NVIDIA H200 才能以每秒 4.8 TB 的速度提供 141GB 内存。与其前身NVIDIA A100相比，这是性能的巨大提升，容量几乎翻倍，带宽增加了 2.4 倍。

nvidia hgx h200 数据中心

NVIDIA H200 的发布意味着大型语言模型的性能很快就会得到大幅提升。例如，Llama 2，一个 700 亿参数的法学硕士，将实现其当前推理速度的近一倍。NVIDIA 预计随着未来软件更新的发布，这种性能会变得更好。

NVIDIA H200 将与NVIDIA H100目前提供的硬件和软件兼容。这种向后兼容性将使当前与 NVIDIA 合作的服务器制造商(例如 Dell Technologies、ASRock Rack、Lenovo、Supermicro 和 Hewlett Packard Enterprise)能够轻松升级其当前系统。它还将在今年 8 月发布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper Superchip 中提供。

NVIDIA H200 将于2024 年第二季度向云服务提供商供货，并由全球系统制造商提供。