NVIDIA H100
Tensor コア GPU
あらゆるデータ センターにかつてな
い性能、拡張性、セキュリティを提供
あらゆるデータ センターにかつてな
い性能、拡張性、セキュリティを提供
規格 | H100 SXM | H100 PCIe | H100 NVL² |
---|---|---|---|
FP64 | 34 teraFLOPS | 26 teraFLOPS | 68 teraFLOPs |
FP64 Tensor コア | 67 teraFLOPS | 51 teraFLOPS | 134 teraFLOPs |
FP32 | 67 teraFLOPS | 51 teraFLOPS | 134 teraFLOPs |
TF32 Tensor コア | 989 teraFLOPS² | 756 teraFLOPS² | 1,979 teraFLOPs² |
BFLOAT16 Tensor コア | 1,979 teraFLOPS² | 1,513 teraFLOPS² | 3,958 teraFLOPs² |
FP16 Tensor コア | 1,979 teraFLOPS² | 1,513 teraFLOPS² | 3,958 teraFLOPs² |
FP8 Tensor コア | 3,958 teraFLOPS² | 3,026 teraFLOPS² | 7,916 teraFLOPs² |
INT8 Tensor コア | 3,958 TOPS² | 3,026 TOPS² | 7,916 TOPS² |
GPU メモ リ | 80GB | 80GB | 188GB |
GPU メモリ 帯域幅 | 3.35TB/秒 | 2TB/秒 | 7.8TB/秒³ |
デコーダー | 7 NVDEC 7 JPEG | 7 NVDEC 7 JPEG | 14 NVDEC 14 JPEG |
最大熱設計電力 (TDP) | 最大 700W (構成可能) | 300–350W (構成可能) | 2x 350-400W (構成可能) |
マルチインスタンス GPU | 最大 7 個の MIG @ 10GB | 最大 7 個の MIG @ 10GB | 各 12GB の最大 14 のMIG |
フォーム ファクター | SXM | PCIe デュアルスロット空冷 | 2x PCIe dual-slot air-cooled |
相互接続 | NVLink: 900GB/秒 PCIe Gen5: 128GB/秒 | NVLINK: 600GB/秒 PCIe Gen5: 128GB/秒 | NVLINK: 600GB/秒 PCIe Gen5: 128GB/秒 |
サーバー オプション |
4 または 16 GPU 搭載の NVIDIA HGX™ H100 パー トナーおよび NVIDIA- Certified Systems™ 8 GPU 搭載の NVIDIA DGX™ H100 |
1~8 GPU 搭載の パートナーおよび NVIDIA Certified Systems™ |
2-4 組のパートナー および NVIDIA Certified Systems |
NVIDIA AI Enterprise | アドオン | 含む | 含む |
かつてない VDI ユーザー エク
スペリエンスを実現
GPU メモリ | 4x 16GB GDDR6、誤り訂正符号 (ECC) 機能付き |
GPU メモリ帯域幅 | 4x 200 GB/秒 |
最大消費電力 | 250W |
相互接続 | PCI Express Gen 4 x16 |
フォーム ファクター | フル ハイト フル レングス (FHFL) デュアル スロット |
サーマル | パッシブ |
vGPU ソフトウェア サポート |
NVIDIA 仮想 PC (vPC)、NVIDIA 仮想アプリケーション (vApp)、 NVIDIA RTX ワークステーション (vWS)、NVIDIA 仮想コンピュート サーバ- (vCS) |
サポートされている vGPU プロファイル |
仮想 GPU ライセンス ガイド および NVIDIA AI Enterprise ライセンス ガイドをご覧ください。 |
NVENC | NVDEC | 4x | 8x (AV1 デコードを含む) |
ハードウェアの信頼の基点に よるセキュア/測定ブート | はい (任意) |
NEBS Ready | レベル 3 |
電源コネクタ | 8 ピン CPU |
主流のエンタープライズ サーバ
ーのためにグラフィックスとビ
デオを AI で高速化
FP32 | 31.2 teraFLOPS |
TF32 Tensor コア | 62.5 teraFLOPS | 125 teraFLOPS* |
BFLOAT16 Tensor コア | 125 teraFLOPS | 250 teraFLOPS* |
FP16 Tensor コア | 125 teraFLOPS | 250 teraFLOPS* |
INT8 Tensor コア | 250 TOPS | 500 TOPS* |
INT4 Tensor コア | 500 TOPS | 1,000 TOPS* |
RT コア | 72 RT コア |
エンコード/デコード | 1 エンコーダー 2 デコーダー (+AV1 デコード) |
GPU メモリ | 24GB GDDR6 |
GPU メモリ帯域幅 | 600GB/s |
インターコネクト | PCIe Gen4 64GB/s |
フォーム ファクター | シングルスロット、フルハイト、フルレングス (FHFL) |
最大熱設計電力 (TDP) | 150W |
vGPU ソフトウェア サポート |
NVIDIA 仮想 PC、NVIDIA 仮想アプリケーション、NVIDIA RTX 仮想ワークステーション、NVIDIA 仮想コンピューティング サーバー, NVIDIA AI Enterprise |
NVIDIA AI をあらゆるサーバー
にもたらすエントリ レベル GPU
Peak FP32 | 4.5 TF |
TF32 Tensor コア | 9 TF | 18 TF¹ |
BFLOAT16 Tensor コア | 18 TF | 36 TF¹ |
Peak FP16 Tensor コア | 18 TF | 36 TF¹ |
Peak INT8 Tensor コア | 36 TOPS | 72 TOPS¹ |
Peak INT4 Tensor コア | 72 TOPS | 144 TOPS¹ |
RT コア | 10 |
Media engines | 1 video encoder 2 video decoders (includes AV1 decode) |
GPU メモ リ | 16GB GDDR6 |
GPU メモリ帯域幅 | 200GB/s |
相互接続 | PCIe Gen4 x8 |
フォームファクター | 1-slot, low-profile PCIe |
最大熱設計電力 (TDP) | 40–60W (configurable) |
Virtual GPU (vGPU) software support² |
NVIDIA Virtual PC (vPC), NVIDIA Virtual Applications (vApps), NVIDIA RTX Virtual Workstation (vWS), NVIDIA AI Enterprise, NVIDIA Virtual Compute Server (vCS) |
データ センターの AI とグラフ
ィックスで発揮される比類なき
パフォーマンス
GPU アーキテクチャ | NVIDIA Ada Lovelace アーキテクチャ |
---|---|
GPU メモリ | 48 GB GDDR6 (ECC 搭載) |
メモリ帯域幅 | 毎秒 864GB |
相互接続インターフェイス | PCIe Gen4 x16: 毎秒 64GB 双方向 |
NVIDIA Ada Lovelace アーキテクチャベースの CUDA® コア | 18,176 |
NVIDIA 第 3 世代 RT コア | 142 |
NVIDIA 第 4 世代 Tensor コア | 568 |
RT コア パフォーマンス TFLOPS | 212 |
FP32 TFLOPS | 91.6 |
TF32 Tensor コア TFLOPS | 183 I 366* |
BFLOAT16 Tensor コア TFLOPS | 362.05 I 733* |
FP16 Tensor コア | 362.05 I 733* |
FP8 Tensor コア | 733 I 1,466* |
ピーク INT8 Tensor TOPS ピーク INT4 Tensor TOPS | 733 I 1,466* 733 I 1,466* |
フォーム ファクター | 4.4” (H) x 10.5” (L)、デュアル スロット |
Display Ports | 4x DisplayPort 1.4a |
最大消費電力 | 350W |
電源コネクタ | 16 ピン |
ビデオ、AI、グラフィックスを効
率的に実現する、飛躍的進化を遂
げたユニバーサル アクセラレータ
FP32 | 30.3 teraFLOPs |
TF32 Tensor コア | 120 teraFLOPS* |
FP16 Tensor コア | 242 teraFLOPS* |
BFLOAT16 Tensor コア | 242 teraFLOPS* |
FP8 Tensor コア | 485 teraFLOPs* |
INT8 Tensor コア | 485 TOPs* |
GPU メモリ | 24GB |
GPU メモリ帯域幅 | 300GB/s |
NVENC | NVDEC | JPEG デコーダー | 2 | 4 | 4 |
最大熱設計電力 (TDP) | 72W |
フォーム ファクター | 1- スロット ロープロファイル、 PCIe |
インターコネクト | PCIe Gen4 x16 64GB/s |
サーバー オプション | 1-8 基の GPUが搭載できるパートナーおよび NVIDIA-Certified Systems 対応システム |
World-proven enterprise AI
GPUs | 8x NVIDIA H100 Tensor コア GPU |
---|---|
GPU メモリ | 合計 640GB |
パフォーマンス | 32 petaFLOPS FP8 |
NVIDIA® NVSwitch™ | 4x |
システム消費電力 | 最大 10.2kW |
CPU |
デュアル Intel® Xeon® P latinum 8480C プロセッサ(合計 112 コア)、2.00GHz (ベース)、3.80GHz(最大ブースト時) |
システム メモリ | 2TB |
ネットワーキング |
4 個の OS FP ポートで 8 基のシングル ポート C onnectX-7 VPI > 400Gb/s Inf iniB and/Ethernet 2 基のデュアルポート QSFP112 NVIDIA ConnectX-7 VP I > 400Gb/s Inf iniB and / Ethernet |
管理ネットワーク |
10Gb/s オンボード NIC(RJ 45 付き) 100 Gb/s Ethernet NIC ホスト ベースボード管理コントローラー(B M C)(RJ 45 付き) |
ストレージ | OS : 1.92TB NVM e M .2 2枚 |
内部ストレージ: | 3.84TB NVM e U.2 8枚 |
ソフトウェア |
NVIDIA AI Enterprise – AIソフトウェア NVIDIA Base Command – オーケストレーション、スケジューリング、 クラスタ管理 DGX OS / Ubuntu / Red Hat Enterprise Linux / Rocky – Operating System |
サポート | 3 年間のビジネス標準ハードウェアおよび ソフトウェア サポートが付属 |
システム重量 | 130.45kg |
梱包重量 | 170.45kg |
システム寸法 |
高さ:356mm 幅:482.2mm 長さ:897.1mm |
動作温度範囲 | 5–30°C (41–86°F) |