全世界的なAIサービスの増大に対応すべく、NVIDIAはAI data center platform向けの製品として、Tesla T4 Tensor Core GPUを発表しました。Tesla T4はTensorRT Hyperscale Inference Platformを特徴としております。「Turing」アーキテクチャと新しい推論ソフトウェアによって進化ざるもののようです。
主な特徴は次の通りになります。
Tensor Core 320基、CUDA core 2560基。FP32からFP16、INT8からINT4と柔軟に複数の精度の演算に対応。演算性能はFP16 65TFlops, INT8 130TIOPs, INT4 260TIOPs75Wの高い電力効率。小型のPCIe規格で多くのサーバーに容易に搭載することが可能。
NVIDIA TensorRT5→推論最適化・ランタイムエンジン。「Turing Tensor Core」をサポートし、複数精度演算を使用するワークロード向けにneural network optimizationのセットを提供します。NVIDIA Tensor RT inference server→コンテナ化されたマイクロサービスソフトウェアで、データセンター製品においてアプリケーションがAIモデルを使用できるようにするアプリケーション。
「Turing」アーキテクチャの演算向け製品である。2560基のCUDA coreを搭載する製品ながら、TDP75Wという低さが印象的であります。
使用されているコアについては言及されておりませんが、「TU104」と推測されます。「TU104」はSM 48 / CUDA core 3072のコアであるためで、この通りであるならば一部を無効化しSM 40 / CUDA core 2560の仕様としていることになります。
また、他情報によると「TU102」を基本として、GPCあたりのSMの数を12から8へと2/3としたのが「TU104」、GPCあたりのSMの数はそのままにGPCの数を半減させたのが「TU106」となり、各演算ユニットの数は「TU102」を1とすると「TU104」は2/3。「TU106」は1/2ということになります。この情報通りであれば、「TU106」はフルスペック仕様でGeForce RTX 2070に使われることになる。ただ、一方でCUDA core 2560のTesla T4が「TU104」であれば、もう256基CUDA coreを削って「TU104」でGeForce RTX 2070を製造してもおかしくはないのではと思う。この類は、GeForce RTX 2070が出てこないとわからないが、9月14日に明らかにされるものだと述べている。この通りなら9月14日に「TU106」の構成も含めて「Turing」アーキテクチャのより詳しい情報が明らかになるかもしれない。
他にもINT32の演算ユニットの追加により浮動小数点演算と整数演算を並行して行えるCUDA coreを改良した、新たなShading技術の導入、「Turing memory compression」、動画エンジンの改良、NV Linkの導入などが新たな特徴・機能として挙げられています。
