描述

產(chǎn)品描述

H100是NVIDIA的最新一代超微服務(wù)器，專為高性能計(jì)算和人工智能應(yīng)用而設(shè)計(jì)。它支持多達(dá)14個(gè)NVIDIA的最新一代GPU，并具有高擴(kuò)展性和高可用性。

特征

強(qiáng)大的計(jì)算能力和圖形處理能力

高效的能源利用和散熱設(shè)計(jì)

可擴(kuò)展性和靈活性

H100 NVIDIA超微NV服務(wù)器是一款專為高性能計(jì)算和數(shù)據(jù)處理而設(shè)計(jì)的服務(wù)器。它采用了先進(jìn)的NVIDIA技術(shù)，提供卓越的計(jì)算和圖形處理能力，適用于各種科學(xué)計(jì)算、人工智能和深度學(xué)習(xí)任務(wù)。

H100 NVIDIA超微NV服務(wù)器具有卓越的性能和可靠性。它配備了最新的NVIDIA圖形處理器和高效的處理器，能夠處理復(fù)雜的計(jì)算任務(wù)和大規(guī)模數(shù)據(jù)處理。其先進(jìn)的散熱設(shè)計(jì)和能源利用技術(shù)使其能夠在高負(fù)載情況下保持穩(wěn)定性和高效性能。

NVIDIA H100 GPU采用具有FP8精度的Transformer Engine,相比上一代GPU,為大型語言模型提供高達(dá)4倍的訓(xùn)練速度。第四代NVIDIA NVLink可提供900 GB/s GPU到GPU的互連速度，NVLink Switch系統(tǒng)(可加速每個(gè)GPU跨節(jié)點(diǎn)的集體通信)、PCIe 5.0和Magnum IO?軟件相結(jié)合，可實(shí)現(xiàn)從小型企業(yè)到大型統(tǒng)一GPU集群的高效可擴(kuò)展性。這些基礎(chǔ)設(shè)施的進(jìn)步與NVIDIA AI Enterprise軟件套件相結(jié)合，使HGX H100成為強(qiáng)大的端到端AI和HPC數(shù)據(jù)中心平臺(tái)。

AI使用同樣廣泛的神經(jīng)網(wǎng)絡(luò)解決了廣泛的業(yè)務(wù)挑戰(zhàn)。出色的AI推理加速器不僅必須提供最高性能，而且還必須具備在客戶選擇部署的任何位置(從數(shù)據(jù)中心到邊緣)加速這些網(wǎng)絡(luò)所需的多功能性。

HGX H100進(jìn)一步擴(kuò)展了NVIDIA在市場(chǎng)中領(lǐng)先的深度學(xué)習(xí)推理領(lǐng)導(dǎo)地位，在Megatron 5300億參數(shù)聊天機(jī)器人上的推理速度比上一代產(chǎn)品提高了30倍。

HGX H100將雙精度Tensor Core的每秒浮點(diǎn)運(yùn)算次數(shù)(FLOPS)提高了3倍，在8卡GPU配置中為HPC提供高達(dá)535 TeraFLOPS的FP64計(jì)算，在4卡GPU配置中提供高達(dá)268 TeraFLOPS的算力。融合AI的HPC應(yīng)用還可以利用H100的TF32精度在零代碼更改的情況下，為單精度矩陣乘法運(yùn)算實(shí)現(xiàn)近8000 TeraFLOPS的吞吐量。

H100采用DPX指令集，可將動(dòng)態(tài)編程算法（例如用于DNA序列比對(duì)和蛋白質(zhì)比對(duì)以預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)的Smith-Waterman）的速度比基于NVIDIA Ampere架構(gòu)的GPU提高7倍。通過提高基因測(cè)序等診斷功能的吞吐量，H100可為每個(gè)診所提供準(zhǔn)確、實(shí)時(shí)的疾病診斷和精準(zhǔn)的藥物處方。

數(shù)據(jù)中心是新的計(jì)算單元，網(wǎng)絡(luò)在擴(kuò)展應(yīng)用程序性能方面發(fā)揮著不可或缺的作用。搭配NVIDIA Quantum InfiniBand，HGX提供世界一流的性能和效率，確保計(jì)算資源的充分利用。NVIDIA Quantum InfiniBand憑借網(wǎng)內(nèi)計(jì)算加速、遠(yuǎn)程直接內(nèi)存訪問(RDMA)和高級(jí)服務(wù)質(zhì)量(QoS)功能引領(lǐng)潮流。

對(duì)于部署以太網(wǎng)的AI云數(shù)據(jù)中心，HGX最適合與NVIDIA Spectrum-X網(wǎng)絡(luò)平臺(tái)配合使用，該平臺(tái)可在400 Gb/s以太網(wǎng)上提供最高AI性能。Spectrum-X采用NVIDIA Spectrum?-4交換機(jī)和BlueField-3 DPU，通過優(yōu)化資源利用率和性能隔離，可在各種規(guī)模上為數(shù)千個(gè)同步AI作業(yè)提供一致且可預(yù)測(cè)的結(jié)果。Spectrum-X支持高級(jí)云多租戶和零信任安全。借助Spectrum-X，云服務(wù)提供商可以加快AI解決方案的開發(fā)、部署和上市速度，同時(shí)提高投資回報(bào)率。

應(yīng)用領(lǐng)域

H100 NVIDIA超微NV服務(wù)器廣泛應(yīng)用于科學(xué)研究機(jī)構(gòu)、大型企業(yè)、教育機(jī)構(gòu)等領(lǐng)域，用于高性能計(jì)算、人工智能、深度學(xué)習(xí)、大數(shù)據(jù)分析等任務(wù)。

美國出臺(tái)了對(duì)華半導(dǎo)體出口限制新規(guī)，其中就包括了對(duì)于高性能計(jì)算芯片對(duì)中國大陸的出口限制。并且以NVIDIA的A100芯片的性能指標(biāo)作為限制標(biāo)準(zhǔn)。即同時(shí)滿足以下兩個(gè)條件的即為受管制的高性能計(jì)算芯片：

（1）芯片的I/O帶寬傳輸速率大于或等于600 Gbyte/s；

（2）“數(shù)字處理單元原始計(jì)算單元”每次操作的比特長(zhǎng)度乘以TOPS計(jì)算出的的算力之和大于或等于4800TOPS。這也使得NVIDIA A100/H100系列、AMD MI200/300系列AI芯片無法對(duì)華出口。