NVIDIA GeForce RTX 4090 GPU はノート PC の CPU と比較して最大 15 倍の AI スループットを実現し、TensorRT-LLM はパフォーマンスを最大 70% 向上

2024.06.12

NVIDIA は、Llama や Mistral などの AI モデルにおけるフラッグシップ RTX 4090 を含む GeForce RTX 40 GPU の印象的な数値を披露しました。

NVIDIA の GeForce RTX 40 GPU が新しい Llama および Mistral AI ベンチマークでノート PC の CPU と NPU を圧倒し、TensorRT-LLM でさらに高速化

NVIDIA のWindows 向け TensorRT-LLM アクセラレーションにより、 Windows PC プラットフォームのパフォーマンスが大幅に向上しました。NVIDIA のRTX「AI PC」機能セットに追加されたいくつかの印象的な向上と新機能を目にしてきましたが、同社が主力製品である GeForce RTX 4090 GPU で驚異的なパフォーマンス数値を披露したことで、状況はさらに良くなっています。

NVIDIA は、新しい AI-Decoded ブログで、既存の GPU ラインナップが、2024 年に 50 TOPS にしか到達できない NPU エコシステム全体を上回ることを共有しました。一方、NVIDIA の RTX AI GPU は数百 TOPS を誇り、GeForce RTX 4090 を使用すれば最大 1321 TOPS まで到達できるため、LLM などを実行するための最速のデスクトップ AI ソリューションとなっています。また、地球上で最速のゲーミンググラフィックスカードでもあります。

Image Source: NVIDIA

NVIDIA の GeForce RTX GPU は最大 24 GB の VRAM を提供し、NVIDIA RTX GPU は最大 48 GB の VRAM を提供するため、大量のビデオメモリを必要とする LLM (大規模言語モデル) の処理に関しては非常に優れています。NVIDIA の RTX ハードウェアには、専用のビデオメモリだけでなく、Tensor コア (ハードウェア) と前述の TensorRT-LLM (ソフトウェア) による AI 固有のアクセラレーションも搭載されています。

NVIDIA の GeForce RTX 4090 GPU では、すべてのバッチサイズで生成されるトークンの数は非常に高速ですが、TensorRT-LLM アクセラレーションを有効にすると、4 倍以上大幅に向上します。

Image Source: Jan.Ai

NVIDIA は現在、オープンソースのJan.ai プラットフォームを使用した新しいベンチマークをいくつか公開しています。このプラットフォームは最近、TensorRT-LLM をローカルチャットボットアプリに統合しました。このチャットボットは、Llama や Mistral などの AI モデルを使いやすいソリューションで利用しています。このソフトウェアプロバイダーは、専用の AI NPU を備えたノート PC CPU に対して NVIDIA の GeForce RTX 40 GPU で実行されたいくつかのベンチマークの概要を公開しました。

NVIDIA GeForce RTX 4090 GPU は、TensorRT-LLM なしの AMD Ryzen 9 8945HS CPU に比べて 8.7 倍のパフォーマンス向上を実現し、アクセラレーションを使用するとその差は 15 倍にまで広がります (TensorRT-LLM なしの構成に比べて 70% の向上)。

AMD CPU では 1 秒あたり 11.57 トークンですが、1 秒あたり最大 170.63 トークンを処理できます。NVIDIA GeForce RTX 4070 ノート PC GPU でも、最大 4.45 倍の加速が得られます。さらに興味深いことに、同社は eGPU 構成で RTX 4090 を使用した数値も公開し、AI ワークロードに外部 GPU を使用することでノート PC のパフォーマンスをさらに向上できることを紹介しています。この構成では、同じ AMD ノート PC CPU と比較してパフォーマンスが 9.07 倍向上します。

NVIDIA は最近、AI の計算能力の現状を明らかにし、同社の GeForce RTX 40 デスクトップ CPU がエントリーレベルの 242 TOPS からハイエンドの 1321 TOPS までどのように拡張されるかを示しました。これは、今年 SOC で見られる最新の 45～50 TOPS AI NPU と比較して、最低レベルで 4.84 倍、最高レベルで 26.42 倍の増加となります。