NVIDIA A100 80GB PCIeアクセラレーターの発売!!Flagship Ampereが新しいHGXA100システムで2TB/sの帯域幅

(Source:wccftech)

NVIDIAは本日、HPCユーザー向けに2倍のメモリとより高速な帯域幅を備えた最新のA100 PCIe GPUアクセラレータを組み込んだ新しいHGXA100システムの発売を発表しました。

NVIDIAは、フラッグシップアンペアベースのA100 HPCGPUアクセラレータを備えたHGXA100システムをアップグレードし、80GB HBM2eメモリと2TB/s帯域幅

既存のNVIDIAA100 HPCアクセラレータは昨年6月に導入され、グリーンチームはそれにメジャースペックアップグレードを与えることを計画しているようです。このチップは、NVIDIA最大のAmpere GPUであるA100をベースにしており、サイズは826mm2で、540億個の非常識なトランジスタを搭載しています。NVIDIAは、サイクルの途中でHPCアクセラレータにスペックブーストを提供します。これは、GTC2022で次世代アクセラレータについて聞くことを意味します。

NVIDIA A100 Tensor Core GPUは、これまでにないHPCアクセラレーションを提供して、産業用HPCに関連する複雑なAI、データ分析、モデルトレーニング、シミュレーションの課題を解決します。A100 80GB PCIe GPUは、GPUメモリ帯域幅をA100 40GBと比較して25%増加して2TB/sにし、80GBのHBM2e高帯域幅メモリを提供します。

A100 80GB PCIeの巨大なメモリ容量と高いメモリ帯域幅により、より多くのデータとより大きなニューラルネットワークをメモリに保持できるため、ノード間の通信とエネルギー消費を最小限に抑えることができます。より高速なメモリ帯域幅と組み合わせることで、研究者はより高いスループットとより高速な結果を達成し、IT投資の価値を最大化することができます。

A100 80GB PCIeは、マルチインスタンスGPU(MIG)テクノロジーを搭載したNVIDIA Ampereアーキテクチャを搭載しており、AI推論などの小規模なワークロードに高速化を実現します。MIGを使用すると、HPCシステムは、保証されたサービス品質でコンピューティングとメモリを縮小できます。PCIeに加えて、4ウェイおよび8ウェイのNVIDIA HGXA100構成があります。

A100 80GB PCIeのNVIDIAパートナーサポートには、Atos、Cisco、Dell Technologies、Fujitsu、H3C、HPE、Inspur、Lenovo、  Penguin Computing、QCT、  Supermicroが含まれます。NV Linkを介して相互接続されたA100ベースのGPUを備えたHGXプラットフォームは、Amazon Web Services、Microsoft Azure、およびOracle Cloud Infrastructureのクラウドサービスを介して利用することもできます 。

仕様に関しては、A100 PCIe GPUアクセラレータはコア構成に関してあまり変更されていません。GA100 GPUは、108SMユニットに配置された6912CUDAコア、432 Tensorコア、および1.55 TB/sと比較して2.0TB/sの高い帯域幅を提供する80GBのHBM2eメモリを備えた250W製品で見られた仕様を保持しています。

A featured image of the NVIDIA GA100 die.

A100SMXにはすでに80GBのメモリが付属していますが、この次期A100 PCIeのように高速なHBM2eダイを備えていません。これは、PCIeベースのグラフィックスカードでこれまでに搭載されたメモリの最大量でもありますが、消費者向けグラフィックスカードがすぐにそのような大容量を搭載することは期待できません。興味深いのは、電力定格が変更されていないことです。つまり、高性能のユースケース向けにビニングされた高密度チップを検討しています。

Specifications of the A100 PCIe 80 GB graphics card as listed over at NVIDIA’s webpage. (Image Credits: Videocardz)

FP64のパフォーマンスは引き続き9.7 / 19.5 TFLOP、FP32のパフォーマンスは19.5 / 156/312 TFLOP(スパース)、FP16のパフォーマンスは312/624 TFLOP(スパース)、INT8は624/1248 TOP(スパース)と評価されています。スパース性)。NVIDIAは来週最新のHPCアクセラレータをリリースする予定であり、40 GBのA100が約USD$15,000で販売されていることを考えると、USD$20,000を超える価格も予想されます。

これらの発表に加えて、NVIDIAは新しいInfiniBandソリューションも発表しました。これは、最大2048ポイントのNDR 400 Gb/s(またはNDR 200の4096ポート)の構成を提供し、合計双方向スループットは1.64 Pb/sです。それだけでも前世代の5倍の増加であり、32倍高いAIアクセラレータを提供します。

NVIDIA Ampere GA100 GPU Based Tesla A100 Specs

NVIDIA Tesla Graphics CardTesla K40 (PCI-Express)Tesla M40 (PCI-Express)Tesla P100 (PCI-Express)Tesla P100 (SXM2)Tesla V100 (SXM2)Tesla V100S (PCIe)NVIDIA A100 (SXM4)NVIDIA A100 (PCIe4)
GPUGK110 (Kepler)GM200 (Maxwell)GP100 (Pascal)GP100 (Pascal)GV100 (Volta)GV100 (Volta)GA100 (Ampere)GA100 (Ampere)
Process Node28nm28nm16nm16nm12nm12nm7nm7nm
Transistors7.1 Billion8 Billion15.3 Billion15.3 Billion21.1 Billion21.1 Billion54.2 Billion54.2 Billion
GPU Die Size551 mm2601 mm2610 mm2610 mm2815mm2815mm2826mm2826mm2
SMs152456568080108108
TPCs1524282840405454
FP32 CUDA Cores Per SM192128646464646464
FP64 CUDA Cores / SM644323232323232
FP32 CUDA Cores28803072358435845120512069126912
FP64 CUDA Cores96096179217922560256034563456
Tensor CoresN/AN/AN/AN/A640640432432
Texture Units240192224224320320432432
Boost Clock875 MHz1114 MHz1329MHz1480 MHz1530 MHz1601 MHz1410 MHz1410 MHz
TOPs (DNN/AI)N/AN/AN/AN/A125 TOPs130 TOPs1248 TOPs 2496 TOPs with Sparsity1248 TOPs 2496 TOPs with Sparsity
FP16 ComputeN/AN/A18.7 TFLOPs21.2 TFLOPs30.4 TFLOPs32.8 TFLOPs312 TFLOPs 624 TFLOPs with Sparsity312 TFLOPs 624 TFLOPs with Sparsity
FP32 Compute5.04 TFLOPs6.8 TFLOPs10.0 TFLOPs10.6 TFLOPs15.7 TFLOPs16.4 TFLOPs156 TFLOPs (19.5 TFLOPs standard)156 TFLOPs (19.5 TFLOPs standard)
FP64 Compute1.68 TFLOPs0.2 TFLOPs4.7 TFLOPs5.30 TFLOPs7.80 TFLOPs8.2 TFLOPs19.5 TFLOPs (9.7 TFLOPs standard)19.5 TFLOPs (9.7 TFLOPs standard)
Memory Interface384-bit GDDR5384-bit GDDR54096-bit HBM24096-bit HBM24096-bit HBM24096-bit HBM26144-bit HBM2e6144-bit HBM2e
Memory Size12 GB GDDR5 @ 288 GB/s24 GB GDDR5 @ 288 GB/s16 GB HBM2 @ 732 GB/s 12 GB HBM2 @ 549 GB/s16 GB HBM2 @ 732 GB/s16 GB HBM2 @ 900 GB/s16 GB HBM2 @ 1134 GB/sUp To 40 GB HBM2 @ 1.6 TB/s Up To 80 GB HBM2 @ 1.6 TB/sUp To 40 GB HBM2 @ 1.6 TB/s Up To 80 GB HBM2 @ 2.0 TB/s
L2 Cache Size1536 KB3072 KB4096 KB4096 KB6144 KB6144 KB40960 KB40960 KB
TDP235W250W250W300W300W250W400W250W