VGA

NVIDIA GeForce RTX 4090 GPU はノート PC の CPU と比較して最大 15 倍の AI スループットを実現し、TensorRT-LLM はパフォーマンスを最大 70% 向上

NVIDIA は、Llama や Mistral などの AI モデルにおけるフラッグシップ RTX 4090 を含む GeForce RTX 40 GPU の印象的な数値を披露しました。

NVIDIA の GeForce RTX 40 GPU が新しい Llama および Mistral AI ベンチマークでノート PC の CPU と NPU を圧倒し、TensorRT-LLM でさらに高速化

NVIDIA のWindows 向け TensorRT-LLM アクセラレーションにより、 Windows PC プラットフォームのパフォーマンスが大幅に向上しました。NVIDIA のRTX「AI PC」機能セットに追加されたいくつかの印象的な向上と新機能を目にしてきましたが、同社が主力製品である GeForce RTX 4090 GPU で驚異的なパフォーマンス数値を披露したことで、状況はさらに良くなっています。

NVIDIA は、新しい AI-Decoded ブログで、既存の GPU ラインナップが、2024 年に 50 TOPS にしか到達できない NPU エコシステム全体を上回ることを共有しました。一方、NVIDIA の RTX AI GPU は数百 TOPS を誇り、GeForce RTX 4090 を使用すれば最大 1321 TOPS まで到達できるため、LLM などを実行するための最速のデスクトップ AI ソリューションとなっています。また、地球上で最速のゲーミング グラフィックス カードでもあります。

Image Source: NVIDIA

NVIDIA の GeForce RTX GPU は最大 24 GB の VRAM を提供し、NVIDIA RTX GPU は最大 48 GB の VRAM を提供するため、大量のビデオ メモリを必要とする LLM (大規模言語モデル) の処理に関しては非常に優れています。NVIDIA の RTX ハードウェアには、専用のビデオ メモリだけでなく、Tensor コア (ハードウェア) と前述の TensorRT-LLM (ソフトウェア) による AI 固有のアクセラレーションも搭載されています。

NVIDIA の GeForce RTX 4090 GPU では、すべてのバッチ サイズで生成されるトークンの数は非常に高速ですが、TensorRT-LLM アクセラレーションを有効にすると、4 倍以上大幅に向上します。

Image Source: Jan.Ai

NVIDIA は現在、オープンソースのJan.ai プラットフォームを使用した新しいベンチマークをいくつか公開しています。このプラットフォームは最近、TensorRT-LLM をローカル チャットボット アプリに統合しました。このチャットボットは、Llama や Mistral などの AI モデルを使いやすいソリューションで利用しています。このソフトウェア プロバイダーは、専用の AI NPU を備えたノート PC CPU に対して NVIDIA の GeForce RTX 40 GPU で実行されたいくつかのベンチマークの概要を公開しました。

NVIDIA GeForce RTX 4090 GPU は、TensorRT-LLM なしの AMD Ryzen 9 8945HS CPU に比べて 8.7 倍のパフォーマンス向上を実現し、アクセラレーションを使用するとその差は 15 倍にまで広がります (TensorRT-LLM なしの構成に比べて 70% の向上)。

AMD CPU では 1 秒あたり 11.57 トークンですが、1 秒あたり最大 170.63 トークンを処理できます。NVIDIA GeForce RTX 4070 ノート PC GPU でも、最大 4.45 倍の加速が得られます。さらに興味深いことに、同社は eGPU 構成で RTX 4090 を使用した数値も公開し、AI ワークロードに外部 GPU を使用することでノート PC のパフォーマンスをさらに向上できることを紹介しています。この構成では、同じ AMD ノート PC CPU と比較してパフォーマンスが 9.07 倍向上します。

NVIDIA は最近、AI の計算能力の現状を明らかにし、同社の GeForce RTX 40 デスクトップ CPU がエントリー レベルの 242 TOPS からハイエンドの 1321 TOPS までどのように拡張されるかを示しました。これは、今年 SOC で見られる最新の 45~50 TOPS AI NPU と比較して、最低レベルで 4.84 倍、最高レベルで 26.42 倍の増加となります。

NVIDIA RTX 40 AI TOPS

RTX 4050 などのノート PC 向け NVIDIA GeForce RTX 40 オプションでも、194 TOPS から始まり、これは最速の NPU の 3.88 倍の速度向上です。一方、RTX 4090 ノート PC チップは 686 TOPS で 13.72 倍の速度向上を実現します。

NVIDIA は、AI 分野で競合他社よりどれだけリードしているかを何度も実証してきましたが、これらのベンチマークは、AI を必要とする人にとって NVIDIA が最適なハードウェアを提供していることを改めて証明するものです。

(Source:wccftech)

関連記事

  1. AMD 第4四半期決算報告で「Navi」に言及

  2. 噂:NVIDIA RTX 3000シリーズの価格RTX 3090:US…

  3. AMD Next-Gen Navi 2X GPUベースのRadeon …

  4. NVIDIA GeForce GTX 1070 Ti 登場か?!

  5. NVIDIA GeForce RTX 4090グラフィックスカードの噂…

  6. AMD と NVIDIA のパートナーは、GPUの在庫処分が進まず、9…

  7. パソコン工房  マビノギ英雄伝 推奨ゲームノート販売開始

  8. これが正しい注釈付きのIntel初の7nm GPU XeHPCダイアグ…

  9. NVIDIA が GeForce RTX 4060 Ti 8 GB…

  10. NVIDIA最小Ada GPU、AD107-400は、GeForce …

  11. ドスパラ「World of Warships」推奨ゲーミングPC

  12. Intel Arc Alchemist DG2 GPUは、最大5台のデ…

コメント

  • コメント (0)

  • トラックバックは利用できません。

  1. この記事へのコメントはありません。

PAGE TOP