NVIDIAのAmpere A100 GPUは止められず、16のAIパフォーマンスレコードを達成し、Volta V100より最大4.2倍高速

2020.07.31

NVIDIAはそのAmpere A100 GPUの最初の実際のパフォーマンスを投稿したばかりで、その結果は非常識なパフォーマンスでした。同社はAI固有のベンチマークで合計16のパフォーマンス記録を破り、特定の機械学習パフォーマンスカテゴリの主要な競合他社を大きくリードしました。

NVIDIA Ampere A100 GPUは16のAI世界記録を破り、Volta V100より最大4.2倍高速

結果は、機械学習のパフォーマンスのみに重点を置いて2018年に設立された業界ベンチマークグループであるMLPerfから取得されます。ベンチマークスイートは合計8つのテストで構成されており、NVIDIAは記録的なトレーニングスピードですべての記録を投稿しています。NVIDIAはまた、HDR InfiniBandを介して接続されたDGX A100 HPCシステムの大規模なクラスターであるDGX SuperPODシステムで、8つの追加レコードを報告しました。DGX SuperPodは、合計1,120個のNVIDIA Ampere A100 GPU、170個のMellanox Quantum 200G Infinibandスイッチ、4 PBのストレージ、および15 kmの光ケーブルを備えた140個のDGX A100システムで構成されています。

これは、DGX SuperPodシステム内の約770万アンペアのCUDAコアであり、驚異的です。このシステムはDGX V拡張計画の一部であり、現在カリフォルニア州サンタクララにあるNVIDIAの本社に配備されているシステムに700ペタフロップス近くのコンピューティング馬力を追加しています。

AIパフォーマンスベンチマークAmpere vs Voltaなど

NVIDIAは、Ampere A100 Tensor Core GPUアクセラレータを、その前身であるVolta V100と比較しました。比較には、Googleの第3世代TPUとHuaweiのAscend HPCチップも含まれます。MLPerf自体にもより詳細なベンチマークがリストされており、IntelのCooper Lake-SP Xeon CPUやGoogleの第4世代TPUなどのAIアクセラレータのプレビューも含まれています。

MLPerfによると、彼らのベンチマークスイートには、機械学習とAIカテゴリに最も関連するパフォーマンスワークロードを対象とするテストが含まれています。NVIDIA Ampere A100は、2.5倍のパフォーマンス速度でVolta V100を破壊します。Ampere A100は、その最小リードでさえ、印象的なVolta V100 GPUを50％向上させます。ここでのチップスケールは単一のGPUに正規化され、AmpereとVoltaを公平に比較しています。

Huawei Ascendチップは時間内に1つのテストしか完了できず、GoogleのTPU V3は時間内に2つのテストしか完了できませんでしたが、Volta V100よりもパフォーマンスが劣っていました。1つのテストでは、チップはNVIDIA Volta V100よりも20％高いリードを確保しましたが、2番目のテストでは、V100よりも10％遅くなりました。

画像分類テストを1104.53分で完了するCooper Lake-SP 8ソケット構成と比較して、デュアルNVIDIA A100システムは同じテストをわずか33.37分で完了できます。NVIDIAはまた、そのAmpere A100のパフォーマンスを、まだ研究段階にあり、可用性から少なくとも1年先の未リリースのGoogle TPU V4と比較することも進めています。

NVIDIAは、AIの最新のフルスタックイノベーションにより、GPUアクセラレータのパフォーマンスが時間とともにどのように向上したかも示しています。Volta V100で実行されているMLPerf 0.5と比較して、Ampere A100で実行されているMLPerf 0.7スイートは、驚異的な4.2倍のパフォーマンス向上を実現します。

これは、NVIDIA Ampere A100 GPUがAIコミュニティのすべての主要なプレーヤーによって認識されているスイート内の実際のベンチマークにどれだけ印象的かを示すために始まります。Ampere A100 GPUは、より高速なパフォーマンスを実現するためにハードウェアアクセラレーション技術を有効にしたが、それでもAmpere A100とその巨大なパフォーマンス出力に対応できなかったTuring GPUと比較した場合でも、別のベンチマークでこれまでに記録された最速のGPUと見なされました。これらすべてのベンチマーク機能により、Ampereが消費者の形で表示され、今から数か月後に必ず発生するはずです。