描述

產(chǎn)品描述

H100 NVIDIA PCIE單卡是一款尖端的圖形處理單元，專為密集的計(jì)算工作負(fù)載而設(shè)計(jì)。憑借其強(qiáng)大的NVIDIA GPU、高內(nèi)存容量和先進(jìn)的冷卻系統(tǒng)，它為各種應(yīng)用程序提供了卓越的性能和可靠性。

特征

用于加速計(jì)算的強(qiáng)大NVIDIA GPU

高存儲(chǔ)容量和帶寬，實(shí)現(xiàn)高效的數(shù)據(jù)處理

先進(jìn)的冷卻系統(tǒng)可實(shí)現(xiàn)最佳性能和可靠性

H100 NVIDIA PCIE單卡是一款功能強(qiáng)大的圖形處理單元，專為需要高性能計(jì)算和圖形功能的苛刻應(yīng)用而設(shè)計(jì)。它配備了高性能NVIDIA GPU，并具有PCIe接口，可與兼容系統(tǒng)無(wú)縫連接。單卡設(shè)計(jì)確保安裝方便，空間利用率高。此外，先進(jìn)的冷卻系統(tǒng)有助于保持最佳工作溫度，以實(shí)現(xiàn)可靠的性能。

AI正在利用一系列廣泛的神經(jīng)網(wǎng)絡(luò)解決范圍同樣廣泛的一系列商業(yè)挑戰(zhàn)。出色的AI推理加速器不僅要提供非凡性能，還要利用通用性加速這些神經(jīng)網(wǎng)絡(luò)。

H100進(jìn)一步擴(kuò)展了NVIDIA在推理領(lǐng)域的市場(chǎng)領(lǐng)先地位，其多項(xiàng)先進(jìn)技術(shù)可將推理速度提高30倍，并提供超低的延遲。第四代Tensor Core可加速所有精度（包括FP64、TF32、FP32、FP16和INT8）。Transformer引擎可結(jié)合使用FP8和FP16精度，減少內(nèi)存占用并提高性能，同時(shí)仍能保持大型語(yǔ)言模型的準(zhǔn)確性。

NVIDIA數(shù)據(jù)中心平臺(tái)性能持續(xù)提升，超越摩爾定律。H100的全新突破性AI性能進(jìn)一步加強(qiáng)了HPC+AI的力量，加速科學(xué)家和研究人員的探索，讓他們?nèi)硇耐度牍ぷ?，解決世界面臨的重大挑戰(zhàn)。

H100使雙精度Tensor Core的每秒浮點(diǎn)運(yùn)算(FLOPS)提升3倍，為HPC提供60 teraFLOPS的FP64浮點(diǎn)運(yùn)算。融合AI的高性能計(jì)算應(yīng)用可以利用H100的TF32精度實(shí)現(xiàn)1 petaFLOP的吞吐量，從而在不更改代碼的情況下，實(shí)現(xiàn)單精度矩陣乘法運(yùn)算。

H100還采用DPX指令，其性能比NVIDIA A100 Tensor Core GPU高7倍，在動(dòng)態(tài)編程算法（例如，用于DNA序列比對(duì)Smith-Waterman）上比僅使用傳統(tǒng)雙路CPU的服務(wù)器快40倍。

在AI應(yīng)用開發(fā)過(guò)程中，數(shù)據(jù)分析通常會(huì)消耗大部分時(shí)間。原因在于，大型數(shù)據(jù)集分散在多臺(tái)服務(wù)器上，由僅配備商用CPU服務(wù)器組成橫向擴(kuò)展式的解決方案缺乏可擴(kuò)展的計(jì)算性能，從而陷入困境。

搭載H100的加速服務(wù)器可以提供相應(yīng)的計(jì)算能力，并利用NVLink和NVSwitch每個(gè)GPU 3 TB/s的顯存帶寬和可擴(kuò)展性，憑借高性能應(yīng)對(duì)數(shù)據(jù)分析以及通過(guò)擴(kuò)展支持龐大的數(shù)據(jù)集。通過(guò)結(jié)合使用NVIDIA Quantum-2 InfiniBand、Magnum IO軟件、GPU加速的Spark 3.0和NVIDIA RAPIDS?，NVIDIA數(shù)據(jù)中心平臺(tái)能夠以出色的性能和效率加速這些大型工作負(fù)載。

應(yīng)用領(lǐng)域

H100 NVIDIA PCIE單卡廣泛應(yīng)用于人工智能研究與開發(fā)、科學(xué)研究和模擬、數(shù)據(jù)分析和機(jī)器學(xué)習(xí)等領(lǐng)域。

美國(guó)出臺(tái)了對(duì)華半導(dǎo)體出口限制新規(guī)，其中就包括了對(duì)于高性能計(jì)算芯片對(duì)中國(guó)大陸的出口限制。并且以NVIDIA的A100芯片的性能指標(biāo)作為限制標(biāo)準(zhǔn)。即同時(shí)滿足以下兩個(gè)條件的即為受管制的高性能計(jì)算芯片：

（1）芯片的I/O帶寬傳輸速率大于或等于600 Gbyte/s；

（2）“數(shù)字處理單元原始計(jì)算單元”每次操作的比特長(zhǎng)度乘以TOPS計(jì)算出的的算力之和大于或等于4800TOPS。這也使得NVIDIA A100/H100系列、AMD MI200/300系列AI芯片無(wú)法對(duì)華出口。