| 型号： | H200 |
|---|---|
| 品牌： | NVIDIA |
| 原产地： | 美国 |
| 类别： | 电子、电力 / 其它电力、电子 |
| 标签︰ | H200 , NVIDIA , 人工智能服务器 |
| 单价： |
-
|
| 最少订量： | 1 件 |
| 最后上线︰2023/11/27 |
NVIDIA H200可大幅强化人工智慧和高效能运算工作负载。
NVIDIA H200 Tensor 核心 GPU 具备颠覆以往的效能和记忆体功能，可大幅强化生成式人工智慧和高效能运算工作负载。H200 是第一款搭载 HBM3e 的 GPU，更大更快的记忆体可加速生成式人工智慧和大型语言模型 (LLM)，同时强化高效能运算工作负载的科学运算。
NVIDIA英伟达H200人工智能服务器配置：
|
项目 |
标准配置 |
|
框架 |
8U 机架式服务器 |
|
处理器 |
2颗第4代/第5代至强系列最高 64 核/3.9GHz/320MB缓存 |
|
内存 |
最大容量 4TB |
|
GPU |
NVIDIA HGX H200 GPU模组 |
|
系统硬盘 |
M.2 NVMe PCIe接口 2TB SSD |
|
数据硬盘 |
2*10TB 企业级 SATA 硬盘 RAID 10 阵列配置 |
|
InfiniBand 网络 |
ConnectX-7 400Gb/s |
|
Ethernet 网卡 |
OCP 网卡/双电口/10G |
|
PICE 插槽 |
9 个 PCIe 5.0 扩展插槽 |
|
电源 |
6*3000W，2*2700W，AC220 输入 |
|
风扇 |
10 个 54V 风扇模组 |
|
操作系统 |
Windows Server/RedHat Enterprise Linux/SUSE Linux Enterprise Server/CentOS/Ubuntu/Vmware EXSi |
|
工作温度 |
+5°~+35° |
|
其他接口 |
机箱后部：1 个 RJ45 管理接口，2 个 USB 3.0，1 个 VGA 机箱前部：2 个 USB 3.0，1 个 VGA |
|
整机净重 |
120KG（以实际配置为准） |
高效能、最佳效率
NVIDIA H200 采用 NVIDIA Hopper 架构，是第一款能以每秒 4.8 TB 的速度提供 141 GB HBM3e 记忆体的 GPU，容量几乎是 NVIDIA H100 Tensor 核心 GPU 的两倍，记忆体频宽则提升 1.4 倍。H200 更大、更快的记忆体能加速生成式人工智慧和 LLM，同时提升高效能运算工作负载的科学运算，而且能源效率更高、总体拥有成本更低。
透过高效能 LLM 推论取得洞察
在人工智慧不断演进的状况下，企业仰赖 LLM 来因应各种推论需求。为庞大的使用者大规模部署人工智慧推论加速器时，必须运用最低的整体拥有成本达到最高的吞吐量。
与 H100 GPU 相比，H200 在处理类似 Llama2 的 LLM 时，可将推论速度大幅提升到最高 2 倍。
大幅强化高效能运算
就高效能运算方面的用途而言，记忆体频宽相当重要。因为这能加快资料传输速度，并减少复杂的处理瓶颈。对于需耗费大量记忆体的高效能运算应用程式，如模拟作业、科学研究和人工智慧，H200 的记忆体频宽较高，可保障资料存取和操作时的效率，因此取得结果的速度与 CPU 相比提升达 110 倍。
降低能源使用量与整体拥有成本
随著 H200 的推出，能源效率和整体拥有成本将达到全新境界。这项尖端技术可提供无与伦比的效能，并且与 H100 Tensor 核心 GPU 使用相同的功耗设定。人工智慧工厂和超级运算系统不仅速度更快也更环保，所具备的经济优势可推动人工智慧和科学界持续进步。
NVIDIA H200 Tensor 核心 GPU规格：
|
尺寸规格 |
H200 SXM¹ |
|
FP64 |
34 TFLOPS |
|
FP64 Tensor 核心 |
67 TFLOPS |
|
FP32 |
67 TFLOPS |
|
TF32 Tensor 核心 |
989 TFLOPS² |
|
BFLOAT16 Tensor 核心 |
1,979 TFLOPS² |
|
FP16 Tensor 核心 |
1,979 TFLOPS² |
|
FP8 Tensor 核心 |
3,958 TFLOPS² |
|
INT8 Tensor 核心 |
3,958 TFLOPS² |
|
GPU 记忆体 |
141GB |
|
GPU 记忆体频宽 |
每秒 4.8 TB |
|
解码器 |
7 NVDEC
|
|
最大热设计功耗 (TDP) |
高达 700W (配置) |
|
多执行个体 GPU |
最多 7 个 MIGS，每个 16.5GB |
|
尺寸规格 |
SXM |
|
互连技术 |
NVLink：每秒 900 GB
|
|
伺服器选项 |
搭载 4 或 8 个 GPU 的 NVIDIA HGX H100 合作伙伴与 NVIDIA 认证系统™ |
|
NVIDIA AI Enterprise |
包含 |
