Build Multimodal Visual AI Agents Powered by NVIDIA NIM

The exponential growth of visual data—ranging from images to PDFs to streaming videos—has made manual review and analysis virtually impossible. Organizations are struggling to transform this data into actionable insights at scale, leading to missed opportunities and increased risks.
To solve this challenge, vision-language models (VLMs) are emerging as powerful tools, combining visual perception of images and videos with text-based reasoning. Unlike traditional
large language models
(LLMs) that only process text, VLMs empower you to build
visual AI agents
that understand and act on complex multimodal data, enabling real-time decision-making and automation.
Imagine having an intelligent AI agent that can analyze remote camera footage to detect early signs of wildfires or scan business documents to extract critical information buried within charts, tables, and images—all autonomously.
With
NVIDIA NIM microservices
, building these advanced visual AI agents is easier and more efficient than ever. Offering flexible customization, streamlined API integration, and smooth deployment, NIM microservices enable you to create dynamic agents tailored to your unique business needs.
In this post, we guide you through the process of designing and building intelligent visual AI agents using NVIDIA NIM microservices. We introduce the different types of vision AI models available, share four sample applications—streaming video alerts, structured text extraction, multimodal search, and few-shot classification—and provide Jupyter notebooks to get you started. For more information about bringing these models to life, see the
/NVIDIA/metropolis-nim-workflows
GitHub repo.
Types of vision AI models
To build a robust visual AI agent, you have the following core types of vision models at your disposal:
VLMs
Embedding models
Computer vision (CV) models
These models serve as essential building blocks for developing intelligent visual AI agents. While the VLM functions as the core engine of each agent, CV and embedding models can enhance its capabilities, whether by improving accuracy for tasks like object detection or parsing complex documents.
In this post, we use
vision NIM microservices
to access these models. Each vision NIM microservice can be easily integrated into your workflows through simple REST APIs, allowing for efficient model inference on text, images, and videos. To get started, you can experiment with hosted preview APIs on
build.nvidia.com
, without needing a local GPU.
Figure 1.The llama-3.2-vision-90b model on build.nvidia.com
Vision language models
VLMs bring a new dimension to language models by adding vision capabilities, making them multimodal. These models can process images, videos, and text, enabling them to interpret visual data and generate text-based outputs. VLMs are versatile and can be fine-tuned for specific use cases or prompted for tasks such as Q&A based on visual inputs.
NVIDIA and its partners offer several VLMs as NIM microservices each differing in size, latency, and capabilities (Table 1).
Company
Model
Size
Description
NVIDIA
VILA
40B
A powerful general-purpose model built on SigLIP and Yi that is suitable for nearly any use case.
NVIDIA
Neva
22B
A medium-sized model combining NVGPT and CLIP and offering the functionality of much larger multimodal models.
Meta
Llama 3.2
90B/11B
The first vision-capable Llama model in two sizes, excelling in a range of vision-language tasks and supporting higher-resolution input.
Microsoft
phi-3.5-vision
4.2B
A small, fast model that excels at OCR and is capable of processing multiple images.
Microsoft
Florence-2
0.7B
A multi-task model capable of captioning, object detection, and segmentation using simple text prompts.
Table 1. VLM NIM microservices
Embedding models
Embedding models convert input data (such as images or text) into dense feature-rich vectors known as embeddings. These embeddings encapsulate the essential properties and relationships within the data, enabling tasks like similarity search or classification. Embeddings are typically stored in
vector databases
where GPU-accelerated search can quickly retrieve relevant data.
Embedding models play a crucial role in creating intelligent agents. For example, they support
retrieval-augmented generation
(RAG) workflows, enabling agents to pull relevant information from diverse data sources and improve accuracy through in-context learning.
Company
Model
Description
Use Cases
NVIDIA
NV-CLIP
Multimodal foundation model generating text and image embeddings
Multimodal search, Zero-shot classification
NVIDIA
NV-DINOv2
Vision foundation model generating high-resolution image embeddings
Similarity search, Few-shot classification
Table 2.
Embedding NIM microservices
Computer vision models
CV models focus on specialized tasks like image classification, object detection, and optical character recognition (OCR). These models can augment VLMs by adding detailed metadata, improving the overall intelligence of AI agents.
Company
Model
Description
Use Cases
NVIDIA
Grounding Dino
Open-vocabulary object detection
Detect anything
NVIDIA
OCDRNet
Optical character detection and recognition
Document parsing
NVIDIA
ChangeNet
Detects pixel-level changes between two images
Defect detection, satellite imagery analysis
NVIDIA
Retail Object Detection
Pretrained to detect common retail items
Loss prevention
Table 3.
Computer vision NIM microservices
Build visual AI agents with vision NIM microservices
Here are real-world examples of how the vision NIM microservices can be applied to create powerful visual AI agents.
To make application development with NVIDIA NIM microservices more accessible, we have published a collection of examples on GitHub. These examples demonstrate how to use NIM APIs to build or integrate them into your applications. Each example includes a Jupyter notebook tutorial and demo that can be easily launched, even without GPUs.
On the
NVIDIA API Catalog
, select a model page, such as
Llama 3.1 405B
. Choose
Get API Key
and
enter your business email
for a 90-day
NVIDIA AI Enterprise
license, or use your personal email to
access NIM
through the
NVIDIA Developer Program
.
On the
/NVIDIA/metropolis-nim-workflows
GitHub repo, explore the Jupyter notebook tutorials and demos. These workflows showcase how vision NIM microservices can be combined with other components, like vector databases and LLMs to build powerful AI agents that solve real-world problems. With your API key, you can easily recreate the workflows showcased in this post, giving you hands-on experience with Vision NIM microservices.
Here are a few example workflows:
VLM streaming video alerts agent
Structured text extraction agent
Few-shot classification with NV-DINOv2 agent
Multimodal search with NV-CLIP agent
VLM streaming video alerts agent
With vast amounts of video data generated every second, it’s impossible to manually review footage for key events like package deliveries, forest fires, or unauthorized access.
This workflow shows how to use VLMs, Python, and OpenCV to build an AI agent that
autonomously monitors live streams for user-defined events
. When an event is detected, an alert is generated, saving countless hours of manual video review. Thanks to the flexibility of VLMs, new events can be detected by changing the prompt—no need for custom CV models to be built and trained for each new scenario..
Video 1. Visual AI Agent Powered by NVIDIA NIM
In Figure 2, the VLM runs in the cloud while the video streaming pipeline operates locally. This setup enables the demo to run on almost any hardware, with the heavy computation offloaded to the cloud through NIM microservices.
Figure 2. Streaming video alert agent architecture
Here are the steps for building this agent:
Load and process the video stream
: Use OpenCV to load a video stream or file, decode it, and subsample frames.
Create REST API endpoints:
Use FastAPI to create control REST API endpoints where users can input custom prompts.
Integrate with the VLM API:
A wrapper class handles interactions with the VLM API by sending video frames and user prompts. It forms the NIM API requests and parses the response.
Overlay responses on video:
The VLM response is overlaid onto the input video, streamed out using OpenCV for real-time viewing.
Trigger alerts:
Send the parsed response over a WebSocket server to integrate with other services, triggering notifications based on detected events.
For more information about building a VLM-powered streaming video alert agent, see the
/NVIDIA/metropolis-nim-workflows
notebook tutorial and demo on GitHub. You can experiment with different VLM NIM microservices to find the best model for your use case.
For more information about how VLMs can transform edge applications with
NVIDIA Jetson
and
Jetson Platform Services
, see
Develop Generative AI-Powered Visual AI Agents for the Edge
and explore additional resources on the
Jetson Platform Services
page.
Structured text extraction agent
Many business documents are stored as images rather than searchable formats like PDFs. This presents a significant challenge when it comes to searching and processing these documents, often requiring manual review, tagging, and organizing.
While optical character detection and recognition (OCDR) models have been around for a while, they often return cluttered results that fail to retain the original formatting or interpret its visual data. This becomes especially challenging when working with documents in irregular formats, such as photo IDs, which come in various shapes and sizes.
Traditional CV models make processing such documents time-consuming and costly. However, by combining the flexibility of VLMs and LLMs with the precision of OCDR models, you can build a
powerful text-extraction pipeline to autonomously parse documents
and store user-defined fields in a database.
Figure 3. Structured text extraction agent architecture
Here are the structured text-extraction pipeline building steps:
Document input:
Provide an image of the document to an OCDR model, such as OCDRNet or Florence, which returns metadata for all the detected characters in the document.
VLM integration:
The VLM processes the user’s prompt specifying the desired fields and analyzes the document. It uses the detected characters from the OCDR model to generate a more accurate response.
LLM formatting:
The response of the VLM is passed to an LLM, which formats the data into JSON, presenting it as a table.
Output and storage:
The extracted fields are now in a structured format, ready to be inserted into a database or stored for future use.
Figure 4. Structured text extraction example with vision NIM microservices
The preview APIs make it easy to experiment by combining multiple models to build complex pipelines. From the demo UI, you can switch between different VLMs, OCDR, and LLM models available on
build.nvidia.com
for quick experimentation.
Few-shot classification with NV-DINOv2
NV-DINOv2 generates embeddings from high-resolution images, making it ideal for tasks requiring detailed analysis, such as defect detection with only a few sample images. This workflow demonstrates how to build a
scalable few-shot classification pipeline
using NV-DINOv2 and a Milvus vector database.
Figure 5. Few-shot classification with NV-DINOv2
Here is how the few-shot classification pipeline works:
Define classes and upload samples:
Users define classes and upload a few sample images for each. NV-DINOv2 generates embeddings from these images, which are then stored in a Milvus vector database along with the class labels.
Predict new classes:
When a new image is uploaded, NV-DINOv2 generates its embedding, which is compared with the stored embeddings in the vector database. The closest neighbors are identified using the k-nearest neighbors (k-NN) algorithm, and the majority class among them is predicted.
Multimodal search with NV-CLIP
NV-CLIP offers a unique advantage: the ability to embed both text and images, enabling
multimodal search
. By converting text and image inputs into embeddings within the same vector space, NV-CLIP facilitates the retrieval of images that match a given text query. This enables highly flexible and accurate search results.
Figure 6. Multimodal search (image and text) with NV-CLIP
In this workflow, users upload a folder of images, which are embedded and stored in a vector database. Using the UI, they can type a query, and NV-CLIP retrieves the most similar images based on the input text.
More advanced agents can be built using this approach with VLMs to create multimodal RAG workflows, enabling visual AI agents to build on past experiences and improve responses.
Get started with visual AI agents today
Ready to dive in and start building your own visual AI agents? Use the code provided in the
/NVIDIA/metropolis-nim-workflows
GitHub repo as a foundation to develop your own custom workflows and AI solutions powered by NIM microservices. Let the example inspire new applications that solve your specific challenges.
For any technical questions or support, join our community and engage with experts in the
NVIDIA Visual AI Agent forum
.

NVIDIA NIM によるマルチモーダル ビジュアル AI エージェントの構築

Reading Time:
3
minutes
画像から PDF、ストリーミング動画に至るまで、ビジュアル データが指数関数的に急増しているため、手動によるレビューと分析は事実上不可能になっています。企業は、このデータを大規模に実用的な洞察に変えるのに苦労しており、その結果、機会逸失やリスクの増大につながっています。
この課題を解決するために、画像や動画の視覚認識とテキストベースの推論を組み合わせた強力なツールとして、ビジョン言語モデル (VLM) が登場しています。テキストのみを処理する従来の
大規模言語モデル
(LLM) とは異なり、VLM は複雑なマルチモーダル データを理解し、それに基づいて行動する
ビジュアル AI エージェント
を構築できるため、リアルタイムの意思決定と自動化が可能になります。
リモート カメラの映像を解析して山火事の初期兆候を検出したり、ビジネス文書をスキャンして、図表、画像に埋もれている重要な情報を抽出したりするインテリジェントな AI エージェントを想像してみてください。そのすべてを自律的に行うのです。
NVIDIA NIM マイクロサービス
を使用すれば、これらの高度なビジュアル AI エージェントの構築がこれまで以上に簡単で効率的になります。柔軟なカスタマイズ、合理的な API 統合、スムーズなデプロイなどを可能にする NIM マイクロサービスにより、独自のビジネス ニーズに合わせた動的なエージェントを作成できます。
この記事では、NVIDIA NIM マイクロサービスを使用してインテリジェントなビジュアル AI エージェントを設計および構築するプロセスについて説明します。現在利用可能なさまざまな種類のビジョン AI モデルを紹介し、4 つのサンプル アプリケーション (ストリーミング動画アラート、構造化テキスト抽出、マルチモーダル検索、Few-shot 分類) を共有し、Jupyter ノートブックを提供して利用を開始するお手伝いをします。これらのモデルを実際に使用する方法の詳細については、GitHub リポジトリ
/NVIDIA/metropolis-nim-workflows
を参照してください。
ビジョン AI モデルの種類
堅牢なビジュアル AI エージェントを構築するには、以下の中核となるビジョン モデルを利用できます。
VLM
埋め込みモデル
コンピューター ビジョン (CV) モデル
これらのモデルは、インテリジェントなビジュアル AI エージェントを開発するための、重要な構成要素となります。VLM は各エージェントのコア エンジンとして機能しますが、CV と埋め込みモデルは、オブジェクト検出などのタスクの精度を向上させたり、複雑な文書を解析したりすることで、その機能を強化できます。
この記事では、
ビジョン NIM マイクロサービス
を使用して、これらのモデルにアクセスします。各ビジョン NIM マイクロサービスは、シンプルな REST API を通じて簡単にワークフローに統合できるため、テキスト、画像、動画における効率的なモデル推論が可能になります。まず、ローカルの GPU を必要としない、
build.nvidia.com
にホストされているプレビュー API を試してみることができます。
図 1. build.nvidia.com の llama-3.2-vision-90b モデル
ビジョン言語モデル
VLM は、ビジョン機能を追加してマルチモーダルにすることで、言語モデルに新たな次元をもたらします。こういったモデルは、画像、動画、テキストを処理できるため、ビジュアル データを解釈し、テキストベースの出力を生成できます。VLM は汎用性が高く、特定のユース ケースに合わせてファインチューニングしたり、ビジュアル入力に基づく Q&A などのタスクを実行するためにプロンプトを設定したりできます。
NVIDIA とそのパートナーは、サイズ、レイテンシ、機能がそれぞれ異なる複数の VLM を NIM マイクロサービスとして提供しています (表 1)。
企業名
モデル
サイズ
説明
NVIDIA
VILA
40B
SigLIP と Yi を基に構築された強力かつ汎用的なモデルで、ほぼあらゆるユース ケースに適しています。
NVIDIA
Neva
22B
NVGPT と CLIP を組み合わせた中規模モデルで、より大規模なマルチモーダル モデルと同等の機能を提供します。
Meta
Llama 3.2
90B/11B
初めてビジョン機能に対応した 2 つのサイズの Llama モデルで、さまざまなビジョン言語タスクに優れ、高解像度の入力に対応しています。
Microsoft
phi-3.5-vision
4.2B
OCR に優れ、複数の画像を処理できる小規模で高速なモデル。
Microsoft
Florence-2
0.7B
シンプルなテキスト プロンプトを使用して、キャプション作成、オブジェクト検出、セグメンテーションが可能なマルチタスク モデル。
表 1. VLM NIM マイクロサービス
埋め込みモデル
埋め込みモデルは、入力データ (画像やテキストなど) を埋め込みと呼ばれる高密度の特徴豊富なベクトルに変換します。このような埋め込みは、データの本質的な特徴関係性をまとめ、類似検索や分類などのタスクを可能にします。埋め込みは通常、
ベクトル データベース
に保存され、GPU アクセラレーションによる検索で関連データを迅速に取得できます。
埋め込みモデルは、インテリジェント エージェントを作成する際に重要な役割を果たします。たとえば、
検索拡張生成
(RAG) ワークフローをサポートし、エージェントがさまざまなデータ ソースから関連情報を引き出し、文脈内学習 (In-Context Learning) を通じて精度を向上させることを可能にします。
企業名
モデル
説明
事例
NVIDIA
NV-CLIP
テキストおよび画像の埋め込みを生成するマルチモーダルの基盤モデル
マルチモーダル検索、ゼロショット分類
NVIDIA
NV-DINOv2
高解像度の画像の埋め込みを生成するビジョン基盤モデル
類似検索、Few-shot 分類
表 2. 埋め込み NIM マイクロサービス
コンピューター ビジョン モデル
CV モデルは、画像分類、オブジェクト検出、光学文字認識 (OCR) などの専門的タスクに重点を置いています。これらのモデルは、詳細なメタデータを追加することで VLM を強化し、AI エージェントの全体的なインテリジェンスを改善することができます。
企業名
モデル
説明
事例
NVIDIA
Grounding Dino
オープン ボキャブラリ オブジェクト検出
あらゆるものを検出
NVIDIA
OCDRNet
光学文字検出と認識
文書解析
NVIDIA
ChangeNet
2 つの画像間のピクセル レベルの変化を検出
欠陥検出、衛星画像分析
NVIDIA
Retail Object Detection
一般的な小売商品を検出するために事前学習済み
損失防止
表 3. コンピューター ビジョン NIM マイクロサービス
ビジョン NIM マイクロサービスでビジュアル AI エージェントを構築
ビジョン NIM マイクロサービスを適用して強力なビジュアル AI エージェントを作成する方法の実例を示します。
NVIDIA NIM マイクロサービスを活用したアプリケーション開発をより身近なものにするために、NVIDIA は GitHub に一連の例を公開しています。これらの例では、NIM API を使用してアプリケーションを構築または統合する方法を紹介しています。個々の例には、GPU がなくても簡単に起動できる Jupyter ノートブックのチュートリアルとデモが含まれています。
NVIDIA API カタログ
で、
Llama3.1 405B
などのモデル ページを選択します。[
Get API Key
] (API キーを入手) を選択して 90 日間の
NVIDIA AI Enterprise
ライセンス用の
ビジネス用メールを入力
するか、
NVIDIA 開発者プログラム
を通じて
NIM にアクセス
する個人用メール アドレスを使用します。
GitHub リポジトリ
/NVIDIA/metropolis-nim-workflows
で、Jupyter ノートブックのチュートリアルとデモを参照します。これらのワークフローでは、ビジョン NIM マイクロサービスをベクトル データベースや LLM などの他のコンポーネントと組み合わせ、現実の問題を解決する強力な AI エージェントを構築する方法を紹介しています。API キーがあれば、この記事で紹介されているワークフローを簡単に再現でき、ビジョン NIM マイクロサービスを実際に体験できます。
以下にワークフローの例を示します。
VLM ストリーミング動画アラート エージェント
構造化テキスト抽出エージェント
NV-DINOv2 エージェントによる Few-shot 分類
NV-CLIP エージェントによるマルチモーダル検索
VLM ストリーミング動画アラート エージェント
毎秒膨大な量の動画データが生成される状況で、パッケージの配送、森林火災、不正アクセスなどの重要なイベントの映像を手動で確認することは不可能です。
このワークフローでは、VLM、Python、OpenCV を使用して、
ユーザー定義イベントのライブ ストリームを自律的に監視する
AI エージェントを構築する方法を示しています。イベントが検出されると、アラートが生成され、膨大な時間を要する手動での動画レビューにかかる時間を短縮できます。VLM の柔軟性のおかげで、プロンプトを変更することで新しいイベントを検出できます。そのため、新しいシナリオごとにカスタム CV モデルを構築およびトレーニングする必要がありません。
動画 1. NVIDIA NIM を活用したビジュアル AI エージェント
図 2 では、VLM はクラウドで実行され、動画ストリーミング パイプラインはローカルで動作します。このセットアップでは重い計算が NIM マイクロサービスを通じてクラウドにオフロードされ、ほぼすべてのハードウェア上でデモを実行できるようになります。
図 2. ストリーミング動画アラート エージェントのアーキテクチャ
このエージェントを構築する手順は以下のとおりです。
動画ストリームの読み込みと処理
: OpenCV を使用して、動画ストリームまたはファイルの読み込み、デコード、フレームのサブサンプルを実行します。
REST API エンドポイントの作成:
FastAPI を使用して、ユーザーがカスタム プロンプトを入力できる制御用の REST API エンドポイントを作成します。
VLM API との統合:
ラッパー クラスでは、動画フレームとユーザー プロンプトを送信することで、VLM API とのやりとりを処理します。NIM API リクエストを形成し、応答を解析します。
応答を動画上にオーバーレイ:
VLM 応答は入力動画にオーバーレイされ、OpenCV を使用してストリーミング配信され、リアルタイム表示されます。
アラートをトリガー:
解析された応答を WebSocket サーバーに送信して他のサービスと統合し、検出されたイベントに基づいて通知をトリガーします。
VLM を活用したストリーミング動画アラート エージェントの構築に関する詳細については、GitHub の
/NVIDIA/metropolis-nim-workflows
のノートブック チュートリアルとデモをご覧ください。さまざまな VLM NIM マイクロサービスを試し、ユース ケースに最適なモデルを見つけることができます。
NVIDIA Jetson
と
Jetson プラットフォーム サービス
を駆使して VLM がエッジ アプリケーションをどのように変革するかについては、「
Edge 向けの生成 AI を活用したビジュアル AI エージェントを開発する
」を参照してください。また、
Jetson プラットフォーム サービス
ページでは追加の関連情報もご覧いただけます。
構造化テキスト抽出エージェント
多くのビジネス文書は、PDF などの検索可能なフォーマットではなく、画像として保存されています。そのため、これらの文書の検索と処理を行う際には、手動によるレビュー、タグ付け、整理が必要になることが多くあり、これらが大きな課題となります。
光学文字検出と認識 (OCDR) モデルは、しばらく前から存在していましたが、元のフォーマットを保持できなかったり、ビジュアル データを解釈できなかったりして、雑然とした結果を返すことがよくありました。これは、さまざまな形やサイズがある写真付き ID などの不規則な形式の文書を扱う場合に特に困難になります。
従来の CV モデルは、そのような文書の処理に時間とコストがかかります。しかし、VLM と LLM の柔軟性と、OCDR モデルの精度を組み合わせることで、
強力なテキスト抽出パイプラインを構築して文書を自律的に解析し
、データベースにユーザー定義のフィールドを保存することができます。
図 3. 構造化テキスト抽出エージェントのアーキテクチャ
構造化テキスト抽出パイプラインの構築手順は次のとおりです。
文書入力:
OCDRNet や Florence などの OCDR モデルに文書の画像を提供すると、文書内の検出されたすべての文字のメタデータが返されます。
VLM の統合:
VLM は、希望するフィールドを指定するユーザーのプロンプトを処理し、文書を分析します。OCDR モデルで検出された文字を使用して、より正確な応答を生成します。
LLM のフォーマット:
VLM の応答は LLM に渡され、LLM はデータを JSON 形式に整形し、表として表示します。
出力と保存:
抽出されたフィールドは構造化されたフォーマットにまとめられ、データベースに挿入したり、将来の使用に備えて保存したりできます。
図 4. ビジョン NIM マイクロサービスによる構造化テキスト抽出の例
プレビュー API を使用すると、複数のモデルを組み合わせて複雑なパイプラインを構築し、簡単に実験をすることができます。デモ UI から、
build.nvidia.com
で利用可能な各種の VLM、OCDR、LLM モデルを切り替えることができ、素早く実験できます。
NV-DINOv2 による Few-shot 分類
NV-DINOv2 は、高解像度の画像から埋め込みを生成するため、少数のサンプル画像での欠陥検出など、詳細な分析を必要とする作業に理想的です。このワークフローは、NV-DINOv2 と Milvus ベクトル データベースを使用して、
スケーラブルな Few-shot 分類パイプライン
を構築する方法を示しています。
図 5. NV-DINOv2による Few-shot 分類
Few-shot 分類パイプラインの仕組みは次のとおりです。
クラスの定義と、サンプルのアップロード:
ユーザーはクラスを定義し、それぞれに少数のサンプル画像をアップロードします。NV-DINOv2 は、これらの画像から埋め込みを生成し、クラス ラベルとともに Milvus ベクトル データベースに保存します。
新しいクラスを予測:
新しい画像がアップロードされると、NV-DINOv2 はその埋め込みを生成し、ベクトル データベースに保存されている埋め込みと比較します。k近傍法 (k-NN) アルゴリズムを使用して最も近い隣接データを特定し、その中から多数派クラスのクラスが予測されます。
NV-CLIP によるマルチモーダル検索
NV-CLIP は、テキストと画像の両方を埋め込むことができ、
マルチモーダル検索
を可能にするという独自の利点があります。 テキストと画像の入力を同じベクトル空間内の埋め込みに変換することで、NV-CLIP は、指定されたテキスト クエリに一致する画像の検索を容易にします。これにより、柔軟性が高く正確な検索結果が得られます。
図 6. NV-CLIP によるマルチモーダル検索 (画像とテキスト)
このワークフローでは、ユーザーは画像フォルダをアップロードし、画像は埋め込みに変換され、ベクトル データベースに保存されます。UI を使用してクエリを入力すると、NV-CLIP は、入力テキストに基づいて最も類似した画像を検索します。
このアプローチを VLM と使用して、より高度なエージェントを構築し、マルチモーダル RAG ワークフローを作成することができます。これにより、ビジュアル AI エージェントが過去の経験を基に構築され、応答を改善できるようになります。
今すぐビジュアル AI エージェントを始めましょう
独自のビジュアル AI エージェントを構築する準備はできましたか? GitHub リポジトリ
/NVIDIA/metropolis-nim-workflows
で提供されているコードをベースとして、NIM マイクロサービスを利用した独自のカスタム ワークフローと AI ソリューションを開発してみてください。この例を参考に、あなたの組織固有の課題を解決する新しいアプリケーションを開発しましょう。
技術的な質問やサポートが必要な場合は、NVIDIA のコミュニティに参加し、
NVIDIA ビジュアル AI エージェント フォーラム
のエキスパートと交流してください。
関連情報
GTC セッション:
Create purpose-built AI using vision and language With multi-modal Foundation Models (マルチモーダルの基盤モデルを活用したビジョンと言語による目的別 AI の作成)
NGC コンテナー:
Llama-3.2-90B-Vision-Instruct
NGC コンテナー:
Llama-3.2-11B-Vision-Instruct
NGC コンテナー:
rag-application-multimodal-chatbot
SDK:
Llama3 70B Instruct NIM
SDK:
BioNeMo Service


An Introduction to Model Merging for LLMs

One challenge organizations face when customizing
large language models (LLMs)
is the need to run multiple experiments, which produces only one useful model. While the cost of experimentation is typically low, and the results well worth the effort, this experimentation process does involve “wasted” resources, such as compute assets spent without their product being utilized, dedicated developer time, and more.
Model merging combines the weights of multiple customized LLMs, increasing resource utilization and adding value to successful models. This approach provides two key solutions:
Reduces experimentation waste by repurposing “failed experiments”
Offers a cost-effective alternative to join training
This post explores how models are customized, how model merging works, different types of model merging, and how model merging is iterating and evolving.
Revisiting model customization
This section provides a brief overview of how models are customized and how this process can be leveraged to help build an intuitive understanding of model merging.
Note that some of the concepts discussed are oversimplified for the purpose of building this intuitive understanding of model merging. It is suggested that you familiarize yourself with customization techniques, transformer architecture, and training separately before diving into model merging. See, for example,
Mastering LLM Techniques: Customization
.
The role of weight matrices in models
Weight matrices are essential components in many popular model architectures, serving as large grids of numbers (weights, or parameters) that store the information necessary for the model to make predictions.
As data flows through a model, it passes through multiple layers, each containing its own weight matrix. These matrices transform the input data through mathematical operations, enabling the model to learn from and adapt to the data.
To modify a model’s behavior, the weights within these matrices must be updated. Although the specifics of weight modification are not essential, it’s crucial to understand that each customization of a base model results in a unique set of updated weights.
Task customization
When fine-tuning an LLM for a specific task, such as summarization or math, the updates made to the weight matrices are targeted towards improving performance on that particular task. This implies that the modifications to the weight matrices are localized to specific regions, rather than being uniformly distributed.
To illustrate this concept, consider a simple analogy where the weight matrices are represented as a sports field that is 100 yards in length. When customizing the model for summarization, the updates to the weight matrices might concentrate on specific areas, such as the 10-to-30 yard lines. In contrast, customizing the model for math might focus updates on a different region, like the 70-to-80 yard lines.
Interestingly, when customizing the model for a related task, such as summarization in the French language, the updates might overlap with the original summarization task, affecting the same regions of the weight matrices (the 25-to-35 yard lines, for example). This overlap suggests an important insight: different task customizations can significantly impact the same areas of the weight matrices.
While the previous example is purposefully oversimplified, the intuition is accurate. Different task customizations will lead to different parts of the weight matrices being updated, and customization for similar tasks might lead to changing the same parts of their respective weight matrices.
This understanding can inform strategies for customizing LLMs and leveraging knowledge across tasks.
Model merging
Model merging is a loose grouping of strategies that relates to combining two or more models, or model updates, into a single model for the purpose of saving resources or improving task-specific performance.
This discussion focuses primarily on the implementation of these techniques through an open-source library developed by
Arcee AI
called
mergekit
. This library simplifies the implementation of various merging strategies.
Many methods are used to merge models, in various levels of complexity. Here, we’ll focus on four main merging methods:
Model Soup
Spherical Linear Interpolation (SLERP)
Task Arithmetic (using Task Vectors)
TIES leveraging DARE
Model Soup
The Model Soup method involves averaging the resultant model weights created by hyperparameter optimization experiments, as explained in
Model Soups: Averaging Weights of Multiple Fine-Tuned Models Improves Accuracy Without Increasing Inference Time
.
Originally tested and verified through computer vision models, this method has shown promising results for LLMs as well. In addition to generating some additional value out of the experiments, this process is simple and not compute intensive.
There are two ways to create Model Soup: naive and greedy. The naive approach involves merging all models sequentially, regardless of their individual performance. In contrast, the greedy implementation follows a simple algorithm:
Rank models by performance on the desired task
Merge the best performing model with the second best performing model
Evaluate the merged model’s performance on the desired task
If the merged model performs better, continue with the next model; otherwise, skip the current model and try again with the next best model
This greedy approach ensures that the resulting Model Soup is at least as good as the best individual model.
Figure 1. The Model Soup method outperforms the constituent models using the greedy model Soup Model merging technique
Each step of creating a Model Soup is implemented by simple weighted and normalized linear averaging of two or more model weights. Both the weighting and normalization are optional, though recommended. The implementation of this from the
mergekit
library is as follows:
res = (weights * tensors).sum(dim=0)
if self.normalize:
	res = res / weights.sum(dim=0)
While this method has shown promising results in the computer vision and language domains, it faces some serious limitations. Specifically, there is no guarantee that the model will be more performant. The linear averaging can lead to degraded performance or loss of generalizability.
The next method, SLERP, addresses some of those specific concerns.
SLERP
Spherical Linear Interpolation, or SLERP, is a method introduced in a 1985 paper titled
Animating Rotation with Quaternion Curves
. It’s a “smarter” way of computing the average between two vectors. In a technical sense, it helps compute the shortest path between two points on a curved surface.
This method excels at combining two models. The classic example is imagining the shortest path between two points on the Earth. Technically, the shortest path would be a straight line that goes through the Earth, but in reality it’s a curved path on the surface of the Earth. SLERP computes this smooth path to use for averaging two models together while maintaining their unique model weight “surfaces.”
The following code snippet is the core of the SLERP algorithm, and is what provides such a good interpolation between the two models:
# Calculate initial angle between v0 and v1
theta_0 = np.arccos(dot)
sin_theta_0 = np.sin(theta_0)

# Angle at timestep t
theta_t = theta_0 * t
sin_theta_t = np.sin(theta_t)

# Finish the slerp algorithm
s0 = np.sin(theta_0 - theta_t) / sin_theta_0
s1 = sin_theta_t / sin_theta_0
res = s0 * v0_copy + s1 * v1_copy

return maybe_torch(res, is_torch)
Task Arithmetic (using Task Vectors)
This group of model merging methods utilizes Task Vectors to combine models in various ways, increasing in complexity.
Task Vectors: Capturing customization updates
Recalling how models are customized, updates are made to the model’s weights, and those updates are captured in the base model matrices. Instead of considering the final matrices as a brand new model, they can be viewed as the difference (or delta) between the base weights and the customized weights. This introduces the concept of a task vector,a structure containing the delta between the base and customized weights.
This is the same intuition behind Low Rank Adaptation (LoRA), but without the further step of factoring the matrices representing the weight updates.
Task Vectors can be simply obtained from customization weights by subtracting out the base model weights.
Task Interference: Conflicting updates
Recalling the sports field example, there is a potential for overlap in the updated weights between different customizations. There is some intuitive understanding that customization done for the same task would lead to a higher rate of conflicting updates than customization done for two, or more, separate tasks.
This “conflicting update” idea is more formally defined as Task Interference and it relates to the potential collision of important updates between two, or more, Task Vectors.
Task Arithmetic
As introduced in the paper
Editing Models with Task Arithmetic
, Task Arithmetic represents the simplest implementation of a task vector approach. The process is as follows:
Obtain two or more task vectors and merge them linearly as seen in Model Soup.
After the resultant merged task vector is obtained, it is added into the base model.
This process is simple and effective, but has a key weakness: no attention is paid to the potential interference between the task vectors intended to be merged.
TIES-Merging
As introduced in the paper
TIES-Merging: Resolving Interference When Merging Models
, TIES (TrIm Elect Sign and Merge) is a method that takes the core ideas of Task Arithmetic and combines it with heuristics for resolving potential interference between the Task Vectors.
The general procedure is to consider, for each weight in the Task Vectors being merged, the magnitude of each incoming weight, then the sign of each incoming weight, and then averaging the remaining weights.
Figure 2. A visual representation of the TIES process
This method seeks to resolve interference by enabling the models that had the most significant weight updates for any given weight update take precedence during the merging process. In essence, the models that “cared” more about that weight would be prioritized over the models that did not.
DARE
Introduced in the paper
Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
, DARE isn’t directly a model merging technique. Rather, it’s an augment that can be considered alongside other approaches. DARE derives from the following:
D
rops delta parameters with a ratio p
A
nd
RE
scales the remaining ones by 1/(1 – p) to approximate the original embeddings.
Instead of trying to address the problem of interference through heuristics, DARE approaches it from a different perspective. In essence, it randomly drops a large number of the updates found in a specific task vector by setting them to 0, and then rescales the remaining weight proportional to the ratio of the dropped weights.
DARE has been shown to be effective even when dropping upwards of 90%, or even 99% of the task vector weights.
Increase model utility with model merging
The concept of model merging offers a practical way to maximize the utility of multiple LLMs, including task-specific fine-tuning done by a larger community. Through techniques like Model Soup, SLERP, Task Arithmetic, TIES-Merging, and DARE, organizations can effectively merge multiple models in the same family in order to reuse experimentation and cross-organizational efforts.
As the techniques behind model merging are better understood and further developed, they are poised to become a cornerstone of the development of performant LLMs. While this post has only scratched the surface, more techniques are constantly under development, including some
evolution-based methods
. Model merging is a budding field in the generative AI landscape, as more applications are being tested and proven.

LLM のモデル マージのご紹介

Reading Time:
2
minutes
大規模言語モデル (LLM)
をカスタマイズする際に、組織が直面する課題の 1 つは、複数の実験を実行する必要があるのに、その結果得られるのは 1 つの有用なモデルのみということです。 実験にかかるコストは通常低く、労力に見合う成果が得られるものの、この実験プロセスには、実験に割り当てされてるけど使用率の低いまたは、全く稼働していない計算機や専任の開発者が費やす時間など、「無駄な」リソースが含まれます。
モデル マージは、複数のカスタマイズされた LLM の重みを組み合わせることで、リソースの利用率を高め、成功したモデルに付加価値を加えます。 このアプローチは、2 つの重要なソリューションを提供します。
「失敗した実験」を別の目的に使用することで、実験の無駄を削減する
トレーニングに参加するためのコスト効率の高い代替手段を提供する
本投稿では、モデルがどのようにカスタマイズされるのか、モデル マージがどのように機能するのか、さまざまな種類のモデル マージ、およびモデル マージがどのように繰り返され、進化しているのかについて探ります。
モデル カスタマイズ再訪
このセクションでは、モデルがどのようにカスタマイズされるか、またこのプロセスをどのように活用することで、モデル マージを直感的に理解できるのかについて簡単に説明します。
ここで説明されている概念の一部は、モデル マージに対する直感的な理解をを深めるために、過度に単純化されていることがあります。 モデル マージを始める前に、カスタマイズ技術、Transformer アーキテクチャおよびトレーニングについては、個別に理解しておくことをお勧めします。 たとえば、
大規模言語モデルのカスタマイズ手法を選択する
などを参考にしてください。
モデルにおける重み行列の役割
重み行列は、多くの一般的なモデル アーキテクチャにおいて必須のコンポーネントであり、モデルが予測を行うのに必要な情報を格納する大きなグリッド (重み、またはパラメーター) として機能します。
データはモデルを流れる際には複数のレイヤーを通過しますが、その各レイヤーには独自の重み行列が含まれています。 これらの行列は、数学演算を通じて入力データを変換し、モデルがデータから学び、それらに適応できるようにします。
モデルの動作を変更するには、これらの行列内の重みを更新する必要があります。 重みを変更する際の詳細は重要ではありませんが、ベースのモデルをカスタマイズする度に、更新された重みの一意なセットが生成されることを理解することが重要です。
タスクのカスタマイズ
要約や数学などの特定のタスクのために LLM をファインチューニングする場合、重み行列に行われた更新は、その特定のタスクのパフォーマンスを向上させるために行われます。 これは、重み行列への変更は均等に分布されるのではなく、特定の領域に限定されることを意味します。
この概念を説明するために、重み行列を 100 ヤードのスポーツフィールドに見立てた単純な例について考えてみましょう。要約するためにモデルをカスタマイズする場合、重み行列への更新は、10～30 ヤードのラインなどの特定の領域に集中する可能性があります。 対照的に、モデルを数学向けにカスタマイズする場合、70～80 ヤードのラインなど、別の領域に更新が集中する可能性があります。
興味深いことに、フランス語の要約など、関連するタスクのモデルをカスタマイズする場合、更新が元々の要約タスクと重複し、重み行列 (例えば、25～35 ヤード）の同じ領域に影響を及ぼす可能性があります。 この重複部分は、重要な洞察を示しています。異なるタスクのカスタマイズが、重み行列内の同じ領域に大きな影響を与える可能性があるのです。
前述の例は意図的に単純化されたものですが、直感は正確です。 異なるタスクのカスタマイズにより、重み行列の異なる部分が更新されることにつながります。また、類似したタスクをカスタマイズすると、それぞれの重み行列の同じ部分が変更される可能性があります。
このことを理解することは、LLM をカスタマイズしたり、タスク全体で知識を活用する際の戦略に役立ちます。
モデル マージ
モデル マージとは、リソースの節約やタスク固有のパフォーマンス向上を目的として、2 つ以上のモデルまたはモデルの更新を 1 つのモデルにまとめることに関連した戦略を大まかにグループ化することです。
ここでは、
Arcee AI
が開発した
mergekit
と呼ばれるオープンソース ライブラリを通じて、これらの技術を実装することに主に焦点を当てます。 このライブラリは、さまざまなマージ戦略の実装を簡素化します。
モデルのマージに使用される方法は数多くあり、その複雑さも様々です。 ここでは、主な 4 つのマージ方法を取り上げます。
Model Soup
球面線型補間 (SLERP: Spherical Linear Interpolation)
Task Arithmetic (Task Vector を使用)
DARE を活用した TIES
Model Soup
Model Soup メソッドでは、ハイパー パラメーター最適化実験によって得られたモデルの重みを平均化します。これについては、
Model Soups: Averaging Weights of Multiple Fine-Tuned Models Improves Accuracy Without Increasing Inference Time
に説明されています。
当初、コンピューター ビジョン モデルを通じてテストと検証が行われたこの方法は、LLM でも有望な結果を示しています。 実験から何らかの付加価値を生み出すだけでなく、このプロセスは単純で、計算量も多くありません。
Model Soup を作成する方法には、Naive と Greedy の 2 つの方法があります。 Naive アプローチでは、個々のパフォーマンスに関係なく、すべてのモデルを順次マージします。 これとは対照的に、Greedy 実装は以下の単純なアルゴリズムに従ったものになります。
目的のタスクのパフォーマンスに基づいてモデルをランク付けする
最も良いパフォーマンス モデルと、2 番目に良いパフォーマンス モデルをマージする
マージされたモデルのパフォーマンスを、目的のタスクで評価する
マージされたモデルがより良いパフォーマンスを発揮する場合は、次のモデルで続行する。そうでない場合は、現在のモデルをスキップし、次の最も良いモデルで再試行する
この Greedy アプローチでは、結果として得られる Model Soup が、少なくとも最良の個々のモデルと同等の品質になることを保証します。
図 1. Model Soup メソッドは、Greedy モデル マージ技術を使用することで、個々のモデルよりも優れた性能を発揮します
Model Soup を作成する各手順は、2 つ以上のモデルの重みを単純に重み付けし、正規化した線形平均を取ることで実装されます。重み付けと正規化はどちらもオプションですが、推奨されます。
mergekit
ライブラリから実装する場合は、以下のようになります。
res = (weights * tensors).sum(dim=0)
if self.normalize:
    res = res / weights.sum(dim=0)
この方法は、コンピューター ビジョンや言語の領域で有望な結果を示していますが、いくつかの深刻な限界に直面しています。 具体的には、モデルがより優れた性能を発揮できるという保証はありません。 線形平均化は、性能の低下や、汎化性能の喪失につながることがあります。
次のメソッドとなる SLERP は、これらの特定の懸念の一部に対処します。
SLERP
球面線型補間 (SLERP: Spherical Linear Interpolation) は、1985 年に
Animating Rotation with Quaternion Curves
と題された論文で紹介された方法です。 これは、2 つのベクトル間の平均を計算する「よりスマート」な方法です。 技術的な意味では、曲面上の 2 つの点間の最短経路を計算するのに役立ちます。
この方法では、2 つのモデルを組み合わせることに優れています。 典型的な例としては、地球上の 2 つの地点間の最短経路を想像してみてください。技術的には、最短経路は地球を貫く直線になりますが、実際には地球表面に沿った曲線になります。 SLERP は、2 つのモデルの独自の重み「表面」を維持しながら平均化し、この滑らかな経路を計算します。
以下のコードの抜粋は、SLERP アルゴリズムの中核部分であり、2 つのモデル間の補間をうまく行います。
# Calculate initial angle between v0 and v1
theta_0 = np.arccos(dot)
sin_theta_0 = np.sin(theta_0)

# Angle at timestep t
theta_t = theta_0 * t
sin_theta_t = np.sin(theta_t)

# Finish the slerp algorithm
s0 = np.sin(theta_0 - theta_t) / sin_theta_0
s1 = sin_theta_t / sin_theta_0
res = s0 * v0_copy + s1 * v1_copy

return maybe_torch(res, is_torch)
Task Arithmetic (Task Vector を使用)
このモデル マージ法では、Task Vector を使用してさまざまな方法でモデルを組み合わせることで、複雑さを高めていきます。
Task Vector: カスタマイズの更新をキャプチャ
モデルがどのようにカスタマイズされるのかを思い出してください。モデルの重みが更新され、それらの更新がベース モデルの行列にキャプチャされます。 最終的な行列を真新しいモデルとみなす代わりに、ベースの重みとカスタマイズした重みの差 (またはデルタ) として見ることができます。 これにより、ベースの重みとカスタマイズした重みとの間のデルタが含まれる構造である Task Vector の概念が導入されます。
これは、LoRA (Low Rank Adaptation) と同じ考え方ですが、重みの更新を表す行列を因数分解する追加のステップはありません。
Task Vector は、ベース モデルの重みを減算することで、カスタマイズの重みから簡単に取得できます。
Task Interference: 更新の競合
スポーツ フィールドの例を思い出してください。異なるカスタマイズ間で更新された重みが重なり合う可能性がありました。 同じタスクに対してカスタマイズすると、2 つ以上の別々のタスクに対してカスタマイズを行う場合よりも、高い割合で更新の競合を引き起こすことは直感的に理解できます。
この「更新の競合」という考え方は、より正式には Task Interference (タスクの干渉) として定義されており、2 つ以上の タスク ベクトル間の重要なアップデートが衝突する可能性に関連しています。
Task Arithmetic
Editing Models with Task Arithmetic
の論文で紹介されたように、Task Arithmetic は Task Vector アプローチの最も単純な実装です。 プロセスは以下のとおりです。
2 つ以上のタスク ベクトルを取得し、Model Soup で見られるように線形なマージをする。
結果としてマージされた Task Vector が得られたら、ベース モデルに追加する。
このプロセスは単純で効果的ですが、マージされる予定の Task Vector 間の潜在的な干渉には注意が払われないという、重大な弱点があります。
TIES-Merging
TIES-Merging: Resolving Interference When Merging Models
の論文に紹介されているように、TIES (TrIm Elect Sign and Merge) は、Task Arithmetic の中核となるアイデアを取り入れ、それを Task Vector 間の潜在的な干渉を解決するためのヒューリスティックと組み合わせる方法です。
一般的な手順では、マージされる Task Vector 内の重みごとに、各入力される重みの大きさ、次に各入力される重みの符号を考慮し、その後残りの重みを平均化します。
図 2. TIES プロセスの図による解説
この方法は、任意の重み更新において最も大きな重みに対する更新を行ったモデルを、マージ プロセスにおいて優先されるようにすることで、干渉を解決しようとするものです。要するに、その重みをより「考慮する」モデルが、そうでないモデルよりも優先されます。
DARE
Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
の論文に紹介されている通り、DARE は直接的なモデル マージの技術ではありません。 むしろ、他のアプローチと並行して検討することができる補強です。 DARE は、以下から由来しています。
D
rops delta parameters with a ratio p
A
nd
RE
scales the remaining ones by 1/(1 – p) to approximate the original embeddings (デルタ パラメーターを p の比率でドロップし、残りのパラメーターを 1/ (1 – p) で再スケールして元の埋め込みに近似する)。
ヒューリスティックによって干渉の問題に対処しようとするのではなく、DARE は別の観点からアプローチします。 具体的には、特定の Task Vector で見つかった多数の更新を、0 に設定することでランダムにドロップし、ドロップされた重みの比率に比例して残りの重みを再スケールします。
DARE は、Task Vector の重みが 90% 以上、あるいは 99% 以上ドロップされた場合でも、有効であることが示されています。
モデル マージでモデルの有用性を向上させる
モデル マージの概念は、より大規模なコミュニティによって行われるタスク固有のファインチューニングをはじめとする、複数の LLM の有用性を最大限に高める実用的な方法を提供します。Model Soup、SLERP、Task Arithmetic、TIES-Merging、DARE などの技術を通じて、実験と組織をまたがる取り組みを再利用するために、同系統の複数のモデルを効果的にマージすることができます。
モデル マージの背景にある技術がより深く理解され、さらに発展するにつれて、高性能な LLM 開発の礎石となるでしょう。この投稿は、ほんの表面をなぞったに過ぎませんが、
進化に基づく手法
なども含め、さらに多くの技術が絶え間なく開発されています。モデル マージは、より多くの応用がテストされ、実証されており、生成 AI の新たな分野となっているのです。
関連情報
GTC セッション:
LLM インフラの構築、学習速度の高速化、生成 AI イノベーションの促進のためのエンドツーエンドのソリューションの設計 (Aivres 提供)
NGC コンテナー:
genai-llm-playground
NGC コンテナー:
rag-application-query-decomposition-agent
ウェビナー:
AI で医療ワークフローを変革: CLLM について深く理解する


Inferencing for generative AI and AI agents will drive the need for AI compute infrastructure to be distributed from edge to central clouds.
IDC predicts
that “Business AI (consumer excluded) will contribute $19.9 trillion to the global economy and account for 3.5% of GDP by 2030.”
5G networks must also evolve to serve this new incoming AI traffic. At the same time, there is an opportunity for telcos to become the local AI compute infrastructure for hosting enterprise AI workloads, independent of network connectivity while meeting their data privacy and sovereignty requirements. This is where an accelerated computing infrastructure shines – with the ability to accelerate both Radio signal processing and AI workloads. And most importantly, the same compute infrastructure can be used to process AI and radio access network (RAN) services. This combination has been called
AI-RAN by the telecoms industry
.
NVIDIA is introducing Aerial RAN Computer-1, the world’s first AI-RAN deployment platform, that can serve AI and RAN workloads concurrently, on a common accelerated infrastructure.
Following the launch of the
AI-RAN Innovation Center by T-Mobile
, the Aerial RAN Computer-1 turns AI-RAN into reality with a deployable platform that telcos can adopt globally. It can be used in small, medium, or large configurations for deployment at cell sites, distributed or centralized sites, effectively turning the network into a multi-purpose infrastructure that serves voice, video, data, and AI traffic.
This is a transformative solution that reimagines wireless networks for AI, with AI. It is also a huge opportunity for telcos to fuel the AI flywheel, leveraging their distributed network infrastructure, low latency, guaranteed quality of service, massive scale, and ability to preserve data privacy, security, and localization – all key requirements for AI inferencing and agentic AI applications.
AI-RAN, AI Aerial, and Aerial RAN Computer-1
AI-RAN is the technology framework to build multipurpose networks that are also AI-native. As telcos embrace AI-RAN, and move from the traditional single-purpose ASIC-based computing networks for RAN to new multi-purpose accelerated computing-based networks serving RAN and AI together, telcos can now participate in the new AI economy and can leverage AI to improve the efficiency of their networks.
NVIDIA AI Aerial
includes three computer systems to design, simulate, train, and deploy AI-RAN-based 5G and 6G wireless networks. Aerial RAN Computer-1 is the base foundation of NVIDIA AI Aerial and provides a commercial-grade deployment platform for AI-RAN.
Aerial RAN Computer-1 (Figure 1) offers a common scalable hardware foundation to run RAN and AI workloads including – software-defined 5G, Private 5G RAN from NVIDIA or other RAN software providers, containerized network functions, AI microservices from NVIDIA or partners or host internal and third-party generative AI applications. Aerial RAN Computer-1 is modular by design, enabling it to scale from D-RAN to C-RAN architectures covering rural to dense urban use cases.
NVIDIA CUDA-X Libraries are central to accelerated computing, providing speed, accuracy, and reliability in addition to improved efficiency. That means more work is done in the same power envelope. Most importantly, domain-specific libraries, including telecom-specific adaptations, are key to making Aerial RAN Computer-1 suited for telecom deployments.
NVIDIA DOCA
offers a suite of tools and libraries that can significantly boost the performance enhancements for telco workloads, including RDMA, PTP/timing synchronization, and Ethernet-based fronthaul (eCPRI), as well as AI workloads that are crucial for modern network infrastructure.
Collectively, the full stack enables scalable hardware, common software, and an open architecture to deliver a high-performance AI-RAN together with ecosystem partners.
Figure 1. NVIDIA Aerial RAN Computer-1, as a part of the NVIDIA AI Aerial platform
Benefits of Aerial RAN Computer-1
With Aerial RAN Computer-1, wireless networks can turn into a massively distributed grid of AI and RAN data centers, unleashing new monetization avenues for telcos while paving the way for 6G with a software upgrade.
Benefits of Aerial RAN Computer-1 for telecom service providers include the following:
Monetize with AI and generative AI applications, AI inferencing at the edge, or with GPU-as-a-Service.
Increase utilization of infrastructure by 2-3x compared to single-purpose base stations that are typically only 30% utilized today. Use the same infrastructure to host internal generative AI workloads and other containerized network functions such as UPF and RIC.
Improve radio network performance through site-specific AI learning, with up to 2x gains possible in spectral efficiency. This means direct cost savings per Mhz of the acquired spectrum.
Deliver high-performance RAN and AI experiences for next-gen applications that intertwine AI into every interaction. Aerial RAN Computer-1 can service up to 170 Gb/s throughput in RAN-only mode and 25K tokens/sec in AI-only mode, or a combination of both with superior performance compared to traditional networks.
Building blocks of Aerial RAN Computer-1
The key hardware components of Aerial RAN Computer-1 include the following:
NVIDIA GB200 NVL2
NVIDIA Blackwell GPU
NVIDIA Grace CPU
NVLink2 C2C
Fifth-generation NVIDIA NVLink
Key-value caching
MGX reference architecture
Real-time mainstream LLM inference
NVIDIA GB200 NVL2
The NVIDIA GB200 NVL2 platform (Figure 2) used in Aerial RAN Computer-1 revolutionizes data center and edge computing, offering unmatched performance for mainstream large language models (LLMs), vRAN, vector database searches, and data processing.
Powered by two NVIDIA Blackwell GPUs and two NVIDIA Grace CPUs, the scale-out single-node architecture seamlessly integrates accelerated computing into existing infrastructure.
This versatility enables a wide range of system designs and networking options, making the GB200 NVL2 platform an ideal choice for data centers, edge, and cell site locations seeking to harness the power of AI as well as wireless 5G connectivity.
For instance, half of a GB200 server could be allocated to RAN tasks and the other half to AI processing through
Multi-instance GPU (MIG)
technology at a single cell site. For aggregated sites, a full GB200 server could be dedicated to RAN, with another used exclusively for AI. In a centralized deployment, a cluster of GB200 servers could be shared between RAN and AI workloads
NVIDIA Blackwell GPU
NVIDIA Blackwell is a revolutionary architecture that delivers improved performance, efficiency, and scale. NVIDIA Blackwell GPUs pack 208B transistors and are manufactured using a custom-built TSMC 4NP process. All NVIDIA Blackwell products feature two reticle-limited dies connected by a 10-TB/s chip-to-chip interconnect in a unified single GPU.
NVIDIA Grace CPU
The NVIDIA Grace CPU is a breakthrough processor designed for modern data centers running AI, vRAN, cloud, and high-performance computing (HPC) applications. It provides outstanding performance and memory bandwidth with 2x the energy efficiency of today’s leading server processors.
NVLink2 C2C
The GB200 NVL2 platform uses NVLink-C2C for a groundbreaking 900 GB/s interconnect between each NVIDIA Grace CPU and NVIDIA Blackwell GPU. Combined with fifth-generation NVLink, this delivers a massive 1.4-TB coherent memory model, fueling accelerated AI and vRAN performance.
Fifth-generation NVIDIA NVLink
To fully harness the power of exascale computing and trillion-parameter AI models, every GPU in a server cluster must communicate seamlessly and swiftly.
Fifth-generation NVLink is a high-performance interconnect to deliver accelerated performance from the GB200 NVL2 platform.
Key-value caching
Key-value (KV) caching
improves LLM response speeds by storing conversation context and history.
GB200 NVL2 optimizes KV caching through its fully coherent NVIDIA Grace GPU and NVIDIA Blackwell GPU memory connected by NVLink-C2C, 7x faster than PCIe. This enables LLMs to predict words faster than x86-based GPU implementations.
MGX reference architecture
MGX GB200 NVL2 is a 2:2 configuration with CPU C-Links and GPU NVLinks connected.
HPM contains the following components:
NVIDIA Grace CPUs (2)
Connectors for GPU pucks and I/O cards
GPU modules populated in 2U AC Server (2)
Each pluggable GPU module contains the GPU, B2B connection, and NVLink connectors.
Figure 2. NVIDIA GB200 NVL2 platform layout
GPU Compute
40 PFLOPS FP4 | 20 PFLOPS FP8/FP6
10x GH200
GPU Memory
Up to 384 GB
CPU
144 Core ARMv9,
960 GB LPDDR5,
1.4x perf & 30% lower power than 2x SPR
CPU to GPU
NVLink C2C
Per GPU 900 GB/s bi-dir. & cache-coherent
GPU to GPU
NVLink
1,800 GB/s bi-dir., NVLink
Scale-Out
Spectrum-X Ethernet or InfiniBand Connect-X or BlueField
OS
Single OS with unified address space covering 2 CPU + 2 GPU
System Power
Full System ~3,500W, configurable
Schedule
Sample: Q4 2024
MP: Q1 2025
Table 1. GB200 NVL2 platform features
Real-time mainstream LLM inference
The GB200 NVL2 platform introduces massive coherent memory up to 1.3 TB shared between two NVIDIA Grace CPUs and two NVIDIA Blackwell GPUs. This shared memory is coupled with fifth-generation NVIDIA NVLink and high-speed, chip-to-chip (C2C) connections to deliver 5x faster real-time LLM inference performance for mainstream language models, such as Llama3-70B.
With an input sequence length of 256, an output sequence length of 8000, FP4 precision, the GB200 NVL2 platform can produce up to 25K tokens/sec, which is 2.16B tokens/day.
Figure 3 shows how GB200 NVL2 performs when supporting AI and RAN workloads.
Figure 3. Compute utilization for RAN and AI in GB200 NVL2
Here’s what platform tenancy looks like for RAN and AI on the GB200 NVL2 platform:
Workload at 100% utilization
RAN:
~36x 100 MHz 64T64R
*Tokens:
25K tokens/sec
AI:
~$10/hr. | ~$90K/year
Workload at 50:50 split utilization
RAN:
~18x 100 MHz 64T64R
*Tokens:
12.5K tokens/sec
AI:
~$5/hr. | ~$45K/year
*Token AI workload: Llama-3-70B FP4 | Sequence lengths input 256 / output 8K
Supporting hardware for Aerial RAN Computer-1
NVIDIA BlueField-3 and NVIDIA networking Spectrum-X are the supporting hardware for Aerial RAN Computer-1.
NVIDIA BlueField-3
NVIDIA BlueField-3
DPUs enable real-time data transmission with precision 5G timing required for fronthaul eCPRI traffic.
NVIDIA offers a full IEEE 1588v2 Precision Time Protocol (PTP) software solution. NVIDIA PTP software solutions are designed to meet the most demanding PTP profiles. NVIDIA BlueField-3 incorporates an integrated PTP hardware clock (PHC) that enables the device to achieve sub-20 nanosecond accuracy while offering timing-related functions, including time-triggered scheduling and time-based, software-defined networking (SDN) accelerations.
This technology also enables software applications to transmit fronthaul, RAN-compatible data in high bandwidth.
NVIDIA networking Spectrum-X
The edge and data center networks play a crucial role in driving AI and wireless advancements and performance, serving as the backbone for distributed AI model inference, generative AI, and world-class vRAN performance.
NVIDIA BlueField-3 DPUs enable efficient scalability across hundreds and thousands of NVIDIA Blackwell GPUs for optimal application performance.
The
NVIDIA Spectrum-X
Ethernet platform is designed specifically to improve the performance and efficiency of Ethernet-based AI clouds and includes all the required functionality for 5G timing synchronization. It delivers 1.6x better AI networking performance compared to traditional Ethernet, along with consistent, predictable performance in multi-tenant environments.
When Aerial RAN Computer-1 is deployed in a rack configuration, the Spectrum-X Ethernet switch serves as a dual-purpose fabric. It handles both fronthaul and AI (east-west) traffic on the compute fabric, while also carrying backhaul or midhaul and AI (north-south) traffic on the converged fabric. The remote radio units terminate at the switch in compliance with the eCPRI protocol.
Software stacks on Aerial RAN Computer-1
The key software stacks on Aerial RAN Computer-1 include the following:
NVIDIA Aerial CUDA-Accelerated RAN
NVIDIA AI Enterprise and NVIDIA NIM
NVIDIA Cloud Functions
NVIDIA Aerial CUDA-Accelerated RAN
NVIDIA Aerial CUDA-Accelerated RAN
is the primary NVIDIA-built RAN software for 5G and private 5G running on Aerial RAN Computer-1.
It includes NVIDIA GPU-accelerated interoperable PHY and MAC layer libraries that can be easily modified and seamlessly extended with AI components. These hardened RAN software libraries can also be used by other software providers, telcos, cloud service providers (CSPs), and enterprises for building custom commercial-grade, software-defined 5G and future 6G radio access networks (RANs).
Aerial CUDA-Accelerated RAN is integrated with
NVIDIA Aerial AI Radio Frameworks
, which provides a package of AI enhancements to enable training and inference in the RAN using the framework tools—pyAerial, NVIDIA Aerial Data Lake, and
NVIDIA Sionna
.
It is also complemented by
NVIDIA Aerial Omniverse Digital Twin
, a system-level network digital twin development platform that enables physically accurate simulations of wireless systems.
NVIDIA AI Enterprise and NVIDIA NIM
NVIDIA AI Enterprise
is the software platform for enterprise generative AI.
NVIDIA NIM
is a collection of microservices that simplify the deployment of foundation models for generative AI applications.
Collectively, they provide easy-to-use microservices and blueprints that accelerate data science pipelines and streamline the development and deployment of production-grade co-pilots and other generative AI applications for enterprises.
Enterprises and telcos can either subscribe to the managed NVIDIA Elastic NIM service or deploy and manage NIM themselves. Aerial RAN Computer-1 can host NVIDIA AI Enterprise and NIM-based AI and generative AI workloads.
NVIDIA Cloud Functions
NVIDIA Cloud Functions
offers a serverless platform for GPU-accelerated AI workloads, ensuring security, scalability, and reliability. It supports various communication protocols:
HTTP polling
Streaming
gRPC
Cloud Functions is primarily suited for shorter running, preemptable workloads, such as inferencing and fine-tuning. This is well-suited for the Aerial RAN Computer-1 platform as the RAN workload resource utilization varies over time of the day.
The AI workloads that are ephemeral and preemptable can usually fill up those under-used hours of the day, which maintains high utilization of the Aerial RAN Computer-1 platform.
Deployment options and performance
Aerial RAN Computer-1 has multiple deployment options that include all points in the radio access network:
Radio base station cell site
Point of presence locations
Mobile switching offices
Baseband hotels
For private 5G, it can be located on the enterprise premises.
Aerial RAN Computer-1 can support various configurations and locations, including private, public, or hybrid cloud environments while using the same software regardless of location or interface standard. This ability offers unprecedented flexibility compared to traditional single-purpose RAN computers.
The solution also supports a wide range of network technologies:
Open Radio Access Network (Open-RAN) architectures
AI-RAN
3GPP standards
Other industry-leading specifications
Aerial RAN Computer-1, based on GB200, delivers continued performance improvements in RAN processing, AI processing, and energy efficiency compared to the earlier NVIDIA H100 and NVIDIA H200 GPUs (Figure 4).
The GB200 NVL2 platform provides a single MGX server for existing infrastructure, which is easy to deploy and scale out. You get mainstream LLM inference and data processing with high-end RAN compute.
Figure 4. GB200 NVL2 performance compared to previous generations
Conclusion
AI-RAN will revolutionize the telecom industry, enabling telcos to unlock new revenue streams and deliver enhanced experiences through generative AI, robotics, and autonomous technologies. The NVIDIA AI Aerial platform implements AI-RAN, aligning it with NVIDIA’s broader vision to make wireless networks AI-native.
With Aerial RAN Computer-1, telcos can deploy AI-RAN on a common infrastructure today. You can maximize the utilization by running RAN and AI workloads concurrently and improve RAN performance with AI algorithms.
Most importantly, with this common computer, you can tap into a completely new opportunity to become the AI fabric of choice for enterprises that need local computing and data sovereignty for their AI workloads. You can start with an AI-first approach and RAN next, with a software upgrade, starting the clock on maximizing ROI from day one.
T-Mobile and SoftBank have already announced their plans to commercialize AI-RAN together with leading RAN software providers, using hardware and software components of NVIDIA AI Aerial.
At Mobile World Congress, Americas, Vapor IO and the City of Las Vegas announced the
world’s first private 5G AI-RAN deployment
using NVIDIA AI Aerial.
We are at a turning point in transforming wireless networks for AI, with AI. Join us at the
NVIDIA AI Summit
in Washington, D.C. and at the
NVIDIA 6G Developer Day
to learn more about NVIDIA Aerial AI and NVIDIA Aerial RAN Computer-1.

通信会社に AI-RAN を提供

Reading Time:
5
minutes
生成 AI と AI エージェントの推論により、エッジからセントラル クラウドまで AI コンピューティング インフラストラクチャを分散する必要性が高まります。
IDC は
、「ビジネス AI (消費者を除く) は、2030 年までに世界経済に 19.9 兆ドルの貢献をし、GDP の 3.5% を占めるようになる」と予測しています。
5G ネットワークも、この新しい AI トラフィックに対応するために進化しなければなりません。 同時に、通信事業者には、データのプライバシーと主権の要件を満たしながら、ネットワーク接続に依存せずにエンタープライズ AI ワークロードをホストするためのローカル AI コンピューティング インフラストラクチャになる機会があります。 ここで、無線信号処理と AI ワークロードの両方を高速化する機能を備えた高速コンピューティング インフラストラクチャが活躍します。 そして最も重要なのは、同じコンピューティング インフラストラクチャを使用して AI サービスと無線アクセス ネットワーク (RAN) サービスの処理が可能であることです。 この組み合わせは、
通信業界では AI-RAN
と呼ばれています。
NVIDIA は、世界初の AI-RAN 展開プラットフォームである Aerial RAN Computer-1 を導入し、共通のアクセラレーテッド インフラストラクチャで AI と RAN のワークロードを同時にサービスできます。
また、
T-Mobile による AI-RANイノベーション センター
の立ち上げに続き、Aerial RAN Computer-1 は、通信会社が世界中で採用できるプラットフォームで AI-RAN を現実のものにします。 小規模、中規模、大規模の構成で使用でき、セルサイト、分散型または集中型のサイトで展開して、ネットワークを音声、ビデオ、データ、AIトラフィックに対応する多目的インフラストラクチャに効果的に変えることができます。
これは、AI を活用した AI のためのワイヤレス ネットワークの概念を再構築する変革的なソリューションです。 また、通信事業者にとっては、分散ネットワーク インフラストラクチャ、低遅延、保証されたサービス品質、大規模なスケール、データのプライバシー、セキュリティ、ローカリゼーションの維持能力など、AI 推論とエージェント AI アプリケーションの重要な要件を活用して、AI フライホイールを活性化する大きなチャンスでもあります。
AI-RAN、AI Aerial、および Aerial RAN Computer-1
AI-RAN は、AI ネイティブな多目的ネットワークを構築するためのテクノロジ フレームワークです。 通信会社が AI-RAN を採用し、従来の単一 ASIC ベースの RAN コンピューティング ネットワークから、RAN と AI の両方に対応する新しい多目的アクセラレーテッド コンピューティング ベースのネットワークに移行するにつれて、通信会社は新しい AI エコノミーに参加し、AI を活用してネットワークの効率を向上できます。
NVIDIA AI Aerial
には、AI-RAN ベースの 5G および 6G ワイヤレス ネットワークを設計、シミュレーション、トレーニング、展開する 3 つのコンピューター システムが含まれています。 Aerial RAN Computer-1 は、NVIDIA AI Aerial の基盤であり、AI-RAN の商業グレードのプラットフォームを提供します。
Aerial RAN Computer-1 (図 1) は、ソフトウェア デファインド 5G、NVIDIA またはその他の RAN ソフトウェア プロバイダーのプライベート 5G RAN、コンテナー化されたネットワーク機能、NVIDIA またはパートナーのAI マイクロサービス、内部およびサードパーティの生成 AI アプリケーションをホストするなど、RAN と AI ワークロードを実行するための共通の拡張可能なハードウェア基盤を提供します。 Aerial RAN Computer-1 はモジュール式の設計であり、D-RAN から C-RAN アーキテクチャまで拡張でき、郊外から密集した都市部まで幅広いユース ケースに対応します。
NVIDIA CUDA-X ライブラリは、アクセラレーテッド コンピューティングの中心であり、効率の向上に加え、速度、精度、信頼性を提供します。 つまり、同じパワー エンベロープでより多くの作業が行われるということです。 最も重要なのは、通信通信事業固有の適応を含むドメイン固有のライブラリが、Aerial RAN Computer-1 を通信事業の展開に適したものにする上で重要です。
NVIDIA DOCA
は、RDMA、PTP/タイミング同期、イーサネットベースのフロントホール (eCPRI) などの通信ワークロードや、最新のネットワーク インフラストラクチャに不可欠な AI ワークロードのパフォーマンスを大幅に向上できるツールとライブラリのスイートを提供します。
総合的に、フルスタックにより、スケーラブルなハードウェア、共通ソフトウェア、オープン アーキテクチャが実現し、エコシステムパートナーと協力して高性能な AI-RAN を提供できます。
図 1. NVIDIA AI Aerial プラットフォームの一部としての NVIDIA Aerial RAN Computer-1
Aerial RAN Computer-1 の利点
Aerial RAN Computer-1 により、ワイヤレス ネットワークは、AI と RAN データ センターの大規模な分散グリッドに変身し、ソフトウェアのアップグレードにより 6G の道を開きつ、通信会社にとって新しい収益化の道を開きます。
通信サービス プロバイダー向け Aerial RAN Computer-1 の利点には、次のものがあります。
AI および生成 AI アプリケーション、エッジでの AI 推論、または GPU-as-a-Service を使用して収益化します。
現在は通常 30% しか利用されていない単目的基地局と比較して、インフラストラクチャの使用率を 2 ～ 3 倍に向上します。 同じインフラストラクチャを使用して、内部生成 AI ワークロードや、UPF や RIC などのコンテナー化されたネットワーク機能をホストできます。
サイト固有の AI 学習を通じて無線ネットワークのパフォーマンスを向上させ、スペクトル効率を最大 2 倍向上できます。 これは、取得スペクトラムの Mhz あたりの直接コストを削減することを意味します。
あらゆるインタラクションに AI を組み込む次世代アプリケーションに、高性能 RAN と AI 体験を提供します。 Aerial RAN Computer-1 は、RAN のみモードで最大 170 Gb/s のスループットと、AI のみモードで 25K トークン/秒、または両方の組み合わせてサービスを提供でき、従来のネットワークと比較して優れたパフォーマンスを発揮できます。
Aerial RAN Computer-1 の構成要素
Aerial RAN Computer-1 の主要なハードウェア コンポーネントには、以下が含まれます。
NVIDIA GB200 NVL2
NVIDIA Blackwell GPU
NVIDIA Grace CPU
NVLink2 C2C
第 5 世代 NVIDIA NVLink
Key-value caching
MGX リファレンス アーキテクチャ
リアルタイム 主流 LLM 推論
NVIDIA GB200 NVL2
Aerial RAN Computer-1 で使用される NVIDIA GB200 NVL2 プラットフォーム (図 2) は、データ センターとエッジ コンピューティングに革命をもたらし、主流の大規模言語モデル (LLM)、vRAN、ベクター データベース検索、データ処理で比類のないパフォーマンスを提供します。
2 つの NVIDIA Blackwell GPU との NVIDIA Grace CPU を搭載したこのスケールアウトのシングルノード アーキテクチャは、アクセラレーテッド コンピューティングを既存のインフラストラクチャにシームレスに統合します。
この汎用性により、広範囲のシステム設計とネットワーキング オプションが可能になり、GB200 NVL2 プラットフォームは、AI の力を活用したいデータ センター、エッジ、セルサイトの場所に理想的な選択肢となります。
たとえば、GB200 サーバーの半分を RAN タスクに割り当てられ、残りの半分は単一セルサイトで
マルチインスタンス GPU (MIG)
テクノロジを通じて AI 処理に割り当てることができます。 集約サイトでは、完全な GB200 サーバーを RAN に専用し、もう 1 つを AI 専用に使用できます。 集中型の展開では、GB200サーバーのクラスターをRANとAIワークロード間で共有できます。
NVIDIA Blackwell GPU
NVIDIA Blackwell は、パフォーマンス、効率、拡張性の向上を実現する革命的なアーキテクチャです。 NVIDIA Blackwell GPU は 208Bトランジスタをパックし、カスタム構築されたTSMC 4NP プロセスを使用して製造されています。 すべての NVIDIA Blackwell 製品には、統一された単一 GPU で 10 TB/s のチップ間相互接続により接続された 2 つのレチクル制限付きダイが特徴です。
NVIDIA Grace CPU
NVIDIA Grace CPU は、AI、vRAN、クラウド、ハイパフォーマンス コンピューティング (HPC) アプリケーションを実行する最新のデータ センター向けに設計された画期的なプロセッサです。 優れたパフォーマンスとメモリ帯域幅を提供し、現在の主要なサーバー プロセッサの 2 倍のエネルギー効率で、優れたパフォーマンスとメモリ帯域幅を提供します。
NVLink2 C2C
GB200 NVL2 プラットフォームは、NVLink-C2C を使用して、各 NVIDIA Grace CPU と NVIDIA Blackwell GPU の間で 900 GB/s の相互接続を実現します。 第5世代 NVLink と組み合わせると、1.4 TB の巨大なコヒーレント メモリ モデルが提供され、AI と vRAN のパフォーマンスを加速します。
第 5 世代 NVIDIA NVLink
エクサスケール コンピューティングと 1 兆パラメーターの AI モデルのパワーを最大限に活用するには、サーバー クラスター内のすべての GPU がシームレスかつ迅速に通信する必要があります。
第5世代 NVLink は、GB200 NVL2 プラットフォームから高速なパフォーマンスを実現する高性能相互接続です。
Key-value caching
キー値 (KV) キャッシュは、
会話のコンテキストと履歴を保存することで、LLM の応答速度を向上します。
GB200 NVL2 は、NVLink-C2C で接続された完全にコヒーレントな NVIDIA Grace GPU と NVIDIA Blackwell GPU メモリを通じて KV キャッシュを最適化し、PCIe よりも 7 倍高速です。 これにより、LLM は、x86 ベースの GPU 実装よりも速く単語を予測できます。
MGX リファレンス アーキテクチャ
MGX GB200 NVL2 は、CPU C-Link と GPU NVLink が接続された 2:2 構成です。
HPM には、次のコンポーネントが含まれています。
NVIDIA Grace CPU (2)
GPU パックと I/O カード用のコネクター
2U AC Server に搭載された GPU モジュール (2)
各プラグ可能な GPU モジュールには、GPU、B2B 接続、NVLink コネクターが含まれています。
図 2. NVIDIA GB200 NVL2 プラットフォーム レイアウト
GPU コンピューティング
40 PFLOPS FP4 | 20 PFLOPS FP8/FP6
10x GH200
GPU メモリ
最大 384 GB
CPU
144 コア ARMv9、
960 GB LPDDR5、
2x SPR と比較して 1.4 倍のパフォーマンスと 30% の電力削減
CPU から GPU
NVLink C2C
GPU あたりの900 GB/s bi-dir.とキャッシュコヒーレント
GPU から GPU
NVLink
1,800 GB/s bi-dir.、NVLink
スケールアウト
Spectrum-X イーサネット、InfiniBand Connect-X、BlueField
OS
2 CPU + 2 GPU をカバーする統一アドレス空間を持つ単一 OS
システム パワー
フル システム ~3,500W、構成可能
スケジュール
サンプル: Q4 2024 四半期
MP: 第1 Q1 2025
表 1. GB200 NVL2 プラットフォーム機能
リアルタイム 主流 LLM 推論
GB200 NVL2 プラットフォームは、2 つの NVIDIA Grace CPU と 2 つの NVIDIA Blackwell GPU で共有される最大 1.3 TB の巨大な整合メモリを導入します。 この共有メモリは、第 5 世代 NVIDIA NVLink と高速チップ間 (C2C) 接続と組み合わせて、Llama3-70B などの主流言語モデルで 5 倍高速なリアルタイム LLM 推論パフォーマンスを実現します。
入力シーケンス長 256 、出力シーケンス長 8000 の出力シーケンス長、FP4 の精度により、GB200 NVL2 プラットフォームは最大 25K トークン/秒（2.16B トークン/日）を生成できます。
図 3 は、AI と RAN ワークロードをサポートする場合に GB200 NVL2 のパフォーマンスを示します。
図 3. GB200 NVL2 における RAN と AI のコンピューティング使用率
GB200 NVL2 プラットフォームで RAN と AI のプラットフォーム テナンスの様子は、次のとおりです。
100% 使用率のワークロード
RAN:
~36x 100 MHz 64T64R
*トークン:
25K トークン/秒
AI:
~10ドル/時 | ~9 万ドル/年
50:50 分割使用率でのワークロード
RAN:
~18x 100 MHz 64T64R
*トークン:
12.5K トークン/秒
AI:
~5ドル/時間。 | ~45,000 ドル/年
*トークン AI ワークロード: Llama-3-70B FP4 | シーケンス長入力 256 / 出力 8K
Aerial RAN Computer-1 のサポート ハードウェア
NVIDIA BlueField-3 と NVIDIAネットワーキング Spectrum-X は、Aerial RAN Computer-1 のサポートハードウェアです。
NVIDIA BlueField-3
NVIDIA BlueField-3 DPU
は、フロントホール eCPRI トラフィックに必要な正確な 5G タイミングでリアルタイム データ伝送を可能にします。
NVIDIA は、完全な IEEE 1588v2 Precision Time Protocol (PTP) ソフトウェア ソリューションを提供します。 NVIDIA PTP ソフトウェア ソリューションは、最も要求の厳しい PTP プロファイルに対応するように設計されています。 NVIDIA BlueField-3 には統合 PTP ハードウェア クロック (PHC) が組み込まれており、時間トリガーのスケジューリングや時間ベースのソフトウェア デファインド ネットワーキング (SDN) 加速などのタイミング関連機能を提供しながら、デバイスが 20 ナノ秒未満の精度を実現できます。
このテクノロジは、ソフトウェア アプリケーションがフロントホール、RAN 互換性のデータを高帯域幅で送信することを可能にします。
NVIDIA ネットワーキング Spectrum-X
エッジおよびデータセンター ネットワークは、AI とワイヤレスの進歩とパフォーマンスを推進する上で重要な役割を果たし、分散 AI モデル推論、生成 AI、世界クラスの vRAN パフォーマンスのバックボーンとして機能します。
NVIDIA BlueField-3 DPUは、数百万台の NVIDIA Blackwell GPU で効率的な拡張性を実現し、最適なアプリケーション パフォーマンスを実現します。
NVIDIA Spectrum-X
イーサネット プラットフォームは、イーサネット ベースの AI クラウドのパフォーマンスと効率を向上させるために特別に設計されており、5G タイミング同期に必要なすべての機能が含まれています。 従来のイーサネットと比較して 1.6 倍の AI ネットワーキング パフォーマンスを実現し、マルチテナント環境で一貫した予測可能なパフォーマンスを実現します。
Aerial RAN Computer-1 がラック構成で展開される場合、Spectrum-X イーサネット スイッチは 2 つの目的を持つファブリックとして機能します。 コンピューティング ファブリックでフロントホールと AI (イーストウエスト) トラフィックの両方を処理し、コンバージ ファブリックでバックホールまたはミッドホールと AI (ノースサウス) トラフィックも搬送します。 リモート 無線ユニットは、eCPRI プロトコルに準拠してスイッチで終了します。
Aerial RAN Computer-1 上のソフトウェア スタック
Aerial RAN Computer-1 の主要なソフトウェア スタックには、以下が含まれます。
NVIDIA Aerial CUDA-Accelerated RAN
NVIDIA AI Enterprise と NVIDIA NIM
NVIDIA Cloud Functions
NVIDIA Aerial CUDA-Accelerated RAN
NVIDIA Aerial CUDA-Accelerated RAN
は、Aerial RAN Computer-1 上で実行される 5G とプライベート 5G 向けに NVIDIA が構築した主要 RAN ソフトウェアです。
これには、AI コンポーネントを使用して簡単に変更し、シームレスに拡張できる、NVIDIA GPU アクセラレーションの相互運用可能な PHY および MAC レイヤー ライブラリが含まれています。 これらの強化された RAN ソフトウェア ライブラリは、他のソフトウェア プロバイダー、通信会社、クラウド サービス プロバイダー (CSP)、カスタムの商用グレードのソフトウェア デファインド 5G および将来の 6G 無線アクセス ネットワーク (RAN) を構築するために企業でも使用できます。
Aerial CUDA-Accelerated RA は、
NVIDIA Aerial AI Radio Frameworks
と統合され、フレームワーク ツールである pyAerial、NVIDIA Aerial Data Lake、
NVIDIA Sionna
を使用して RAN のトレーニングと推論を可能に AI 強化パッケージを提供します。
また、ワイヤレス システムの物理的に正確なシミュレーションを可能にするシステム レベルのネットワーク デジタル ツイン開発プラットフォームである
NVIDIA Aerial Omniverse Digital Twin
が補完されています。
NVIDIA AI Enterprise と NVIDIA NIM
NVIDIA AI Enterprise
は、エンタープライズ生成 AI のためのソフトウェア プラットフォームです。
NVIDIA NIM
は、生成 AI アプリケーションのための基盤モデルの展開を簡素化するマイクロサービスのコレクションです。
全体的に、これらの製品は、データ サイエンスのパイプラインを高速化し、企業向けの本番環境グレードのコ パイロットやその他の生成 AI アプリケーションの開発とデプロイを合理化する使いやすいマイクロサービスとブループリントを提供します。
企業と通信会社は、マネージド NVIDIA Elastic NIM サービスに登録するか、NIM を自ら展開し管理できます。 Aerial RAN Computer-1 は、NVIDIA AI Enterprise、NIM ベースの AI および生成 AI ワークロードをホストできます。
NVIDIA Cloud Functions
NVIDIA Cloud Functions
は、GPU アクセラレーテッド AI ワークロードのためのサーバーレス プラットフォームを提供し、セキュリティ、拡張性、信頼性を確保します。. さまざまな通信プロトコルをサポートします。
HTTP polling
ストリーミング
gRPC
Cloud Functions は、主に推論やファインチューニングなど、実行時間が短い、事前処理可能なワークロードに適しています。 RAN ワークロード リソース使用率が 1 日の時間とともに変化するため、Aerial RAN Computer-1 プラットフォームに最適です。
一時的に先占可能な AI ワークロードは、通常、1 日の使用されていない時間を埋めることができ、Aerial RAN Computer-1 プラットフォームの高使用率を維持します。
展開のオプションとパフォーマンス
Aerial RAN Computer-1 には、無線アクセス ネットワークのすべてのポイントを含む複数の展開のオプションがあります。
無線基地局セルサイト
拠点の場所
移動式スイッチング オフィス
ベースバンド ホテル
プライベート 5G の場合は、企業の敷地内に設置できます。
Aerial RAN Computer-1 は、場所やインターフェイス標準に関係なく同じソフトウェアを使用しながら、プライベート、パブリック、ハイブリッド クラウド環境など、さまざまな構成と場所をサポートできます。 この機能は、従来の単一目的 RAN コンピューターと比較して前例のない柔軟性を提供します。
このソリューションは、広範囲のネットワーク テクノロジもサポートしています。
オープン無線アクセス ネットワーク (Open-RAN) アーキテクチャ
AI-RAN
3GPP 標準
その他の業界をリードする仕様
GB200 をベースとする Aerial RAN Computer-1 は、以前の NVIDIA H100 と NVIDIA H200 GPU と比較して、RAN 処理、AI 処理、エネルギー効率のパフォーマンスが継続的に向上します (図 4)。
GB200 NVL2 プラットフォームは、既存のインフラストラクチャに 1 つの MGX サーバーを提供し、展開と拡張が容易です。 ハイエンド RAN コンピューティングで主流の LLM 推論とデータ処理を実現します。
図 4. GB200 NVL2 パフォーマンスと従来世代比較
まとめ
AI-RAN は、通信業界に革命をもたらし、通信会社が新しい収益源を獲得し、生成 AI、ロボティクス、自律テクノロジを通じて強化された体験を提供することを可能にします。 NVIDIA AI Aerial プラットフォームは、AI-RAN を実装し、ワイヤレス ネットワークを AI ネイティブにすることという NVIDIA の広範なビジョンと一致しています。
Aerial RAN Computer-1 により、通信会社は今日、共通のインフラストラクチャに AI-RAN を展開できます。 RAN と AI ワークロードを同時に実行することで使用率を最大化し、AI アルゴリズムで RAN のパフォーマンスを向上できます。
最も重要なのは、この共通コンピューターを使用すると、AI ワークロードにローカル コンピューティングとデータ主権を必要とする企業にとって最適な AI ファブリックになるというまったく新しい機会を活用できることです。 AI ファーストのアプローチから始めて、次にソフトウェア アップグレードで RAN を実施すれば、初日から ROI を最大化するための取り組みを開始できます。
T-Mobile とソフトバンクは、NVIDIA AI Aerial のハードウェアとソフトウェア コンポーネントを使用して、主要な RAN ソフトウェア プロバイダーと AI-RAN を商業化する計画を発表しました。
Mobile World Congress で、アメリカ、Vapor IO とラスベガス市は、NVIDIA AI Aerial を使用した
世界初のプライベート 5GAI-RAN デプロイ
を発表しました。
私たちは、AI による AI のためのワイヤレス ネットワークの変革の転換点にいます。 ワシントンD.C. で開催される
NVIDIA AI Summit
と
NVIDIA 6G Developer Day
にぜひ参加して、NVIDIA Aerial AI と NVIDIA Aerial RAN Computer-1 について詳しく学んでください。
関連情報
GTC セッション:
通信会社が国家 AI インフラストラクチャとプラットフォームをどのように実現するか
GTC セッション:
AI-RAN と 6G 研究の民主化
GTC セッション:
現代の通信会社 Blueprint: AI を使用して変革と再発明
SDK:
Aerial Omniverse デジタル ツイン
ウェビナー:
How Telcos Transform Customer Experiences with Conversational AI
ウェビナー:
多言語音声 AI カスタマイズされたエージェント アシストで通信会社 コンタクト センター エージェントの強化


Accelerate Large Linear Programming Problems with NVIDIA cuOpt

The evolution of linear programming (LP) solvers has been marked by significant milestones over the past century, from
Simplex
to the
interior point method (IPM)
. The introduction of
primal-dual linear programming (PDLP)
has brought another significant advancement.
NVIDIA cuOpt
has now implemented PDLP with GPU acceleration. Using cutting-edge algorithms, NVIDIA hardware, dedicated CUDA features, and NVIDIA GPU libraries, the cuOpt LP solver achieves over 5,000x faster performance compared to CPU-based solvers.
This post examines the key components of LP solver algorithms, GPU acceleration in LP, and cuOpt performance on
Mittelmann’s benchmark
and
Min Cost Flow problem
instances.
Harnessing cutting-edge innovations for large-scale LP
LP is a method that involves optimizing a linear objective function, subject to a set of linear constraints.
Consider this scenario: A farmer must decide which vegetables to grow and in what quantities to maximize profit, given limitations on land, seeds, and fertilizer. The goal is to determine the optimal revenue while respecting all constraints, as quickly as possible.
NVIDIA developed an LLM agent
example that helps model the problem and solve it using an LP solver. LP is an essential tool for optimization and has applications in resource allocation, production planning, supply chain, and, as a backbone for
mixed-integer programming
(MIP) solvers. Solving mathematical problems with millions of variables and constraints in seconds is challenging, if not impossible, in some cases.
There are three requirements to solve LP problems efficiently on GPUs:
Efficient and massively parallel algorithms
NVIDIA GPU libraries and CUDA features
Cutting-edge NVIDIA GPUs
Efficient and massively parallel algorithms
Simplex
, introduced by Dantzig in 1947, remains a core component of most LP and MIP solvers. It works by following the edges of the feasible region to find the optimum.
Figure 1. Simplex method
(Source:
Visually Explained – What is Linear Programming (LP)?
)
The next major advancement came with the
interior point method (IPM)
, discovered by I. I. Dikin in 1967. IPM, which moves through the interior of the polytope towards the optimum, is now considered state-of-the-art for solving large-scale LPs on CPUs. However, both techniques face limitations in massive parallelization.
Figure 2. Interior Point Method
(Source:
Visually Explained – What is Linear Programming (LP)?
)
In 2021, a new groundbreaking technique to solve large LPs was introduced by the Google Research team:
PDLP
. It is a first-order method (FOM) that uses the derivative of the problem to iteratively optimize the objective and minimize constraint violation.
Figure 3. Gradient descent
PDLP enhances
primal-dual hybrid gradient (PDHG)
algorithm by introducing tools to improve convergence, including a presolver, diagonal preconditioning, adaptive restarting, and dynamic primal-dual step size selection. Presolving and preconditioning make the input problem simpler and improves numerical stability while restarting and dynamic step size computation enables the solver to adapt itself during optimization.
A key advantage of FOM over previous methods is its ease of massive parallelization, making it well-suited for GPU implementation.
PDLP employs two highly parallelizable computational patterns: Map operations and sparse matrix-vector multiplications (SpMV). This approach enables PDLP to efficiently handle millions of variables and constraints in parallel, making it extremely effective on GPUs.
Map is extensively used in PDLP to perform additions, subtractions, and so on for all the variables and constraints that can span millions of elements. It is extremely parallel and efficient on GPUs.
SpMV corresponds to multiplying a sparse matrix (containing many zeros) and a vector. While this matrix size can reach tens of billions, it contains far fewer useful values. For instance, in a vegetable planting problem, a constraint such as, “I can’t plant more than 3.5 kg of potatoes” would contain only one useful value among millions of variables.
SpMV algorithms have been extensively optimized for GPUs, making them orders of magnitude faster than CPU implementations.
NVIDIA GPU libraries and CUDA features
To have the best performance, our GPU PDLP implementation uses cutting-edge CUDA features and the following NVIDIA libraries:
cuSparse
Thrust
RMM
cuSparse
is the NVIDIA GPU-accelerated library for sparse linear algebra. It efficiently performs SpMVs, a challenging task on GPUs. cuSparse employs unique algorithms designed to fully leverage the NVIDIA massively parallel architecture.
Thrust is part of the
NVIDIA CUDA Core Compute Libraries
(CCCL) and provides high-level C++ parallel algorithms. It simplifies the expression of complex algorithms using patterns and iterators for GPU execution. I used Thrust for map operations and the restart process, which entails sorting values by key. This is a task that can be demanding on the GPU but is efficiently optimized by Thrust.
RMM
is the fast and flexible NVIDIA memory management system that enables the safe and efficient handling of GPU memory through the use of a memory pool.
Finally, I took advantage of advanced CUDA features. One of the most significant challenges in parallelizing PDLP on GPUs is the restart procedure, which is inherently iterative and not suited for parallel execution. To address this, I used
CUDA Cooperative Groups
, which enable you to define GPU algorithms at various levels, with the largest being the grid that encompasses all workers. By implementing a cooperative kernel launch and using grid synchronization, you can efficiently and elegantly express the iterative restart procedure on the GPU.
Cutting-edge NVIDIA GPUs
GPUs achieve fast computation by using thousands of threads to solve many problems in parallel. However, before processing, the GPU must first transfer the data from the main memory to its worker threads.
Memory bandwidth
refers to the amount of data that can be transferred per second. While CPUs can usually handle hundreds of GB/s, the latest GPU,
NVIDIA HGX B100
, has a bandwidth of eight TB/s, two orders of magnitude larger.
The performance of this PDLP implementation scales directly with increased memory bandwidth due to its heavy reliance on memory-intensive computational patterns like Map and SpMV. With future NVIDIA GPU bandwidth increases, PDLP will automatically become faster, unlike other CPU-based LP solvers.
cuOpt outperforms state-of-the-art CPU LP solvers on Mittelmann’s benchmark
The industry standard to benchmark the speed of LP solvers is
Mittelmann’s benchmark
. The objective is to determine the optimal value of the LP function while adhering to the constraints in the shortest time possible. The benchmark problems represent various scenarios and contain between hundreds of thousands to tens of millions of values.
For the comparison, I ran a state-of-the-art CPU LP solver and compared it to this GPU LP solver. I used the same threshold of 10
-4
and disabled crossover. For more information, see the
Potential for PDLP refinement
section later in this post.
Both solvers operated under
float64
precision.
For the CPU LP solver, I used a recommended CPU setup: AMD EPYC 7313P servers with 16 cores and 256 GB of DDR4 memory.
For the cuOpt LP solver, I used an NVIDIA H100 SXM Tensor Core GPU to benefit from the high bandwidth and ran without presolve.
I considered the full solve time without I/O, including scaling for both solvers and presolving for the CPU LP solver. Only instances that have converged for both solvers with a correct objective value are showcased in Figure 4. cuOpt is faster on 60% of the instances and more than 10x faster in 20% of the instances. The biggest speed-up is 5000x on one instance of a large multi-commodity flow optimization problem.
Figure 4. cuOpt acceleration compared to CPU LP on Mittelmann’s benchmark
I also compared cuOpt against a state-of-the-art CPU PDLP implementation using the same setup and conditions. cuOpt is consistently faster and between 10x to 3000x faster.
Figure 5. cuOpt acceleration compared to a CPU PDLP implementation on Mittelmann’s benchmark
The multi-commodity flow problem (MCF) involves finding the most efficient way to route multiple different types of goods through a network from various starting points to their respective destinations, ensuring that the network’s capacity constraints are not exceeded. One way to solve an MCF problem is to convert it to an LP. On a set of large MCF instances, PDLP is consistently faster, between 10x and 300x.
Figure 6. cuOpt acceleration compared to the CPU LP solver on a set of MCF instances
Potential for PDLP refinement
The NVIDIA cuOpt LP solver delivers incredible performance, but there’s potential for future enhancements:
Handling higher accuracy
Requiring high bandwidth
Convergence issues on some problems
Limited benefit for small LPs
Handling higher accuracy
To decide whether you’ve solved an LP, you measure two things:
Optimality gap:
Measures how far you are from finding the optimum of the objective function.
Feasibility:
Measures how far you are from respecting the constraints.
An LP is considered solved when both quantities are zero. Reaching an exact value of zero can be challenging and often unnecessary, so LP solvers use a threshold that enables faster convergence while maintaining accuracy. Both quantities are now only required to be below this threshold, which is relative to the magnitude of the values of the problem.
Most LP solvers use a threshold, especially for large problems that are extremely challenging to solve. The industry standard so far was to use 10
-8.
While PDLP can solve problems using 10
-8
, it is then usually significantly slower. This can be an issue if you require high accuracy. In practice, many find 10
-4
accurate enough and sometimes even lower. This heavily benefits PDLP while not being a big differentiator for other LP-solving algorithms.
Requiring high bandwidth
PDLP’s performance scales linearly with memory bandwidth, making it more efficient on new GPU architectures. It requires a recent server-grade GPU to reproduce the results shown in the performance analysis section.
Convergence issues on some problems
While PDLP can solve most LPs quickly, it sometimes needs a significant number of steps to converge, resulting in higher runtimes. On Mittelmann’s benchmark, cuOpt LP Solver times out after one hour on 8 of the 49 public instances, due to a slow convergence rate.
Limited benefit for small LPs
Small LPs benefit less from the GPU’s high bandwidth, which doesn’t enable PDLP to scale as well compared to CPU solvers. The cuOpt LP solver offers a batch mode for this scenario where you can provide and solve hundreds of small LPs in parallel.
Conclusion
The cuOpt LP solver uses CUDA programming, NVIDIA GPU libraries, and cutting-edge NVIDIA GPUs to solve LPs, potentially orders of magnitude faster than CPU and scaling to over a billion coefficients. As a result, it’s particularly beneficial for tackling large-scale problems, where its advantages become even more prominent.
Some use cases will still work better with traditional Simplex or IPM and I expect the future solvers to be a combination of GPU and CPU techniques.
Sign up to be notified when you can
try the cuOpt LP
. Try NVIDIA
cuOpt Vehicle Routing Problem (VRP
) today with
NVIDIA-hosted NIM
microservices for the latest AI models for free on the
NVIDIA API Catalog
.

NVIDIA cuOpt で大規模な線形計画問題を加速する

Reading Time:
3
minutes
線形計画法 (LP: Linear Programming) ソルバーの進化は、
シンプレックス法
から
内点法 (IPM: Interior Point Method)
まで、過去 1 世紀にわたってに重要な節目で特徴づけられてきました。
主双対線形計画法 (PDLP: Primal-dual Linear Programming)
の導入は、さらなる大きな進歩をもたらしました。
NVIDIA cuOpt
は現在、GPU アクセラレーションで PDLP を実装しています。最先端のアルゴリズム、NVIDIA ハードウェア、専用の CUDA 機能、NVIDIA GPU ライブラリを使用して、cuOpt LP ソルバーは、CPU ベースのソルバーと比較して 5,000 倍以上の高速パフォーマンスを実現しています。
この投稿では、LP ソルバー アルゴリズムの主要コンポーネント、LP における GPU アクセラレーション、
Mittelmann のベンチマーク
と
最小費用フロー問題
のインスタンスにおける cuOpt 性能を検証します。
最先端のイノベーションを大規模な LP に活用
LP は、一連の線形制約の対象となる線形目的関数を最適化する手法です。
例えば、こんなシナリオを考えてみてください。農家は、土地、種、肥料に制約がある中で、利益を最大限に高めるために、どの野菜をどれくらい栽培するかを決めなければなりません。目標は、あらゆる制約を満たしながら、できるだけ迅速に最適な収益を決定することです。
NVIDIA が開発した LLM エージェント
の例は、LP ソルバーを使用して問題をモデル化し、解決するのに役立ちます。LP は最適化に不可欠なツールであり、リソースの配分、生産計画、サプライチェーン、
混合整数計画問題
(MIP: Mixed-integer Programming) ソルバーのバックボーンとして応用されています。数百万もの変数や制約がある数学的問題を数秒で解くことは、不可能ではないにせよ、難しい場合もあります。
GPU で効率的に LP 問題を解決するには、以下の 3 つの要件があります。
効率的で大規模な並列アルゴリズム
NVIDIA GPU ライブラリと CUDA 機能
最新鋭の NVIDIA GPU
効率的で大規模な並列アルゴリズム
1947 年に Dantz 氏によって導入された
シンプレックス法
は、現在でもほとんどの LP と MIP ソルバーの中核をなしています。これは、実現可能な領域の端を追って最適値をを求めるものです。
図 1. シンプレックス法 (出典:
Visually Explained – What is Linear Programming (LP)?
)
次の大きな進歩は、1967 年に I. I. Dikin 氏が発見した
内点法 (IPM: Interior Point Method)
でした。多面体の内部を最適値の方向に移動する IPM は、現在では CPU 上で大規模な LP を解く最先端技術だと考えられています。しかしながら、いずれの手法も大規模な並列化には限界があります。
図 2. 内点法 (出典:
Visually Explained – What is Linear Programming (LP)?
)
2021 年に、大規模 LP を解く新しい画期的な技術として、Google Research チームによって発表されましたのが、
PDLP
です。PDLP は、問題の導関数を使用して、目的を繰り返し最適化し、制約違反を最小限に抑える一次法 (FOM: First-order Method) です。
図3. 勾配降下
PDLP は、プレソルバー、対角線の前提条件、適応的なリスタート、動的な主双対ステップ サイズ選択など、収束を改善するツールを導入することで、
主双対ハイブリッド勾配 (PDHG: Primal-dual Hybrid Gradient)
アルゴリズムを強化します。プレソルバーと前提条件により、入力問題がより簡素化され、数値安定性が向上します。一方、リスタートと動的ステップ サイズ計算により、ソルバーは最適化中に適応することができます。
FOM が従来の手法よりも優れている点として、大規模な並列化が容易であり、GPU の実装に適しています。
PDLP は、Map 演算と疎行列ベクトル積 (SpMV: Sparse Matrix-Vector Multiplications) の 2 つの高度に並列化可能な計算パターンを採用しています。このアプローチにより、PDLP は数百万もの変数と制約を効率的に並列処理することができ、GPU に対して非常に効果的になります。
Map は、PDLP で広く使用されており、数百万の要素に及ぶすべての変数と制約に対して加算や減算などを行います。これは、GPU 上では極めて並列処理が可能でかつ効率的です。
SpMV は、疎行列 (多くのゼロを含む) とベクトルの乗算に相当します。この行列のサイズは数百億に達しますが、有用な値ははるかに少なくなります。例えば、野菜の植え付け問題では、「3.5 kg 以上のジャガイモを植えることができない」といった制約には、数百万の変数の中で有用な値が 1 つしか含まれないことになります。
SpMV アルゴリズムは、GPU 向けに広範囲に最適化されており、CPU 実装よりも桁違いに高速です。
NVIDIA GPU ライブラリと CUDA 機能
最高のパフォーマンスを得るために、NVIDIA の GPU PDLP 実装では、最先端の CUDA 機能と以下の NVIDIA ライブラリを使用しています。
cuSparse
Thrust
RMM
cuSparse
は、疎線形代数の NVIDIA GPU 対応ライブラリです。これは、GPU では難しいとされる SpMV を効率的に実行します。cuSparse は、NVIDIA の巨大な並列アーキテクチャをフル活用するように設計された独自のアルゴリズムを採用しています。
Thrust は、
NVIDIA CUDA コア コンピューティング ライブラリ
(CCCL) の一部であり、高いレベルの C++ 並列アルゴリズムを提供します。GPU の実行にパターンとイテレーターを使用して、複雑なアルゴリズムの表現を簡素化します。私は、Map 演算とキーで値をソートするリスタートのプロセスに Thrust を使用しました。これは、GPU に負荷がかかる作業ですが、Thrust で効率的に最適化できます。
RMM
は、高速かつ柔軟な NVIDIA メモリ管理システムで、メモリ プールを使用することで、GPU メモリの安全で効率的な処理を実現します。
最後に、高度な CUDA の機能を利用しました。GPU 上で PDLP を並列化する際の最も重要な課題の 1 つは、本来反復的であり、並列実行には適していないリスタート手順です。これに対処するために、私は
CUDA Cooperative Groups
を使用しました。これは、さまざまなレベルで GPU アルゴリズムを定義でき、最も大きなのものはすべてのワーカーを網羅するグリッドになります。協調的なカーネル起動を実装し、グリッド同期を利用することで、GPU 上で反復的なリスタート手順を効率的かつエレガントに表現できます。
最先端の NVIDIA GPU
GPU は、数千ものスレッドを使用して多くの問題を同時に解決することで、高速計算を実現します。しかし、処理する前に、GPU はまずメイン メモリからワーカー スレッドにデータを転送する必要があります。
メモリ帯域幅
とは、1 秒間に転送できるデータ量のことです。CPU では通常、数百 GB/秒を処理できますが、最新の GPU である
NVIDIA HGX B100
の帯域幅は 8 TB/秒で、2 桁も大きい値です。
この PDLP 実装のパフォーマンスは、Map や SpMV のようなメモリ負荷の高い計算パターンに大きく依存しているため、メモリ帯域幅の増加に応じて、直線的に拡大します。将来的に NVIDIA GPU の帯域幅が増加すれば、他の CPU ベースの LP ソルバーとは異なり、PDLP は自動的に高速化されます。
cuOpt は、Mittelmann のベンチマークで最先端の CPU LP ソルバーを上回る性能を発揮
LP ソルバーの速度を評価する業界標準が、
Mittelmann のベンチマーク
です。その目的は、制約を満たしながら LP 関数の最適値を可能な限り最短時間で決定することです。ベンチマークの問題は、さまざまなシナリオを示しており、数十万から数千万の値を含んでいます。
比較のために、私は最新の CPU LP ソルバーを実行し、この GPU LP ソルバーと比較しました。同じ閾値である 10
-4
を用いて、クロスオーバーを無効にしました。詳細については、この投稿の後半にある
PDLP 改良の可能性
のセクションを参照してください。
どちらのソルバーも
float64
の精度で動作しました。
CPU LP ソルバーの場合、推奨される CPU 設定である、16 コアと 256 GB の DDR4 メモリを備えた AMD EPYC 7313P サーバーを使用しました。
cuOpt LP ソルバーの場合、高帯域幅のメリットを活用するため、NVIDIA H100 SXM Tensor コア GPU を使用し、プレソルバーなしで実行しました。
両方のソルバーのスケーリングと CPU LP ソルバーのプレソルバーなど、I/O なしの完全な解決時間を考慮しました。正しい目標値を持つ両方のソルバーの場合、収束したインスタンスのみを図 4 で示しています。cuOpt は、60% のインスタンスで高速化し、20% のインスタンスで 10 倍以上高速化しました。最大の高速化は、大規模な多品種流問題の最適化のうちの 1 つのインスタンスで 5,000 倍の高速化が達成されました。
図 4. Mittelman のベンチマークで CPU LP と比較した cuOpt の高速化
また同じ設定と条件を使用して、最新の CPU PDLP の実装と cuOpt を比較しました。cuOpt は常に高速化し、10 倍～ 3000 倍も高速化します。
図 5. Mittelman のベンチマークで CPU PDLP 実装と比較した cuOpt の高速化
多品種流問題 (MCF: Multi-commodity Flow Problem) では、ネットワークの容量制約を超えないように、さまざまな出発点からそれぞれの目的地までネットワークを介して複数のさまざまな物をルーティングする最も効率的な方法を見つけることができます。MCF 問題を解決する 1 つの方法は、LP に変換することです。一連の大規模な MCF インスタンスでは、PDLP は一貫して 10 倍から 300 倍の間で高速になります。
図 6. 一連の MCF インスタンスで CPU LP ソルバーと比較した cuOpt の高速化
PDLP 改良の可能性
NVIDIA cuOpt LP ソルバーは、驚異的なパフォーマンスを発揮しますが、将来的に強化される余地もあります。
より高い精度への対応
高帯域幅の必要性
一部の問題に対する収束問題
小規模な LP に対する限定的な効果
より高い精度への対応
LP を解決したかどうかを判断するには、以下の 2 点を測定します。
最適性のギャップ
: 目的関数の最適値からの距離を測定します。
実現可能性
: 制約をどのくらい満たしているかを測定します。
LP は、両方の値がゼロになった時、解決したとみなされます。厳密にゼロの値に到達することは困難であり、不要なことも多いため、LP ソルバーは精度を維持しながら収束をより高速化する閾値を使用します。両方の値が、この閾値以下であることが要求されるため、問題の値の大きさに対して相対的なものになります。
ほとんどの LP ソルバーは、特に解決するのが非常に困難な大きな問題に対して、閾値を使用します。これまでの業界標準では、10
-8
を使用していました。PDLP は 10
-8
を使用して問題を解決することもできますが、通常はかなり時間がかかります。高い精度が求められる場合、これは問題になります。実際には、多くの場合 10
-4
で十分な精度であると考える人も多く、場合によってはそれよりも低い値でも十分であると考える人もいます。これは、PDLP には大きな利点となりますが、他の LP 解決アルゴリズムの大きな差別化要因にはなりません。
高帯域幅の必要性
PDLP のパフォーマンスはメモリ帯域幅に比例して拡張し、新しい GPU アーキテクチャではより効率的になります。前述したパフォーマンス分析のセクションで示した結果を再現するには、最近のサーバー グレードの GPU が必要です。
一部の問題に対する収束問題
PDLP は、ほとんどの LP を迅速に解決できますが、収束するまでにかなりのステップ数が必要になることがあり、その結果、実行時間が長くなることがあります。Mittelman のベンチマークでは、cuOpt LP ソルバーは、49 の公開インスタンスのうち 8 つで、収束率が遅いため、1 時間後にタイムアウトしました。
小規模な LP に対する限定的な効果
小規模な LP が、GPU の高帯域幅から利益を得ることは少なく、CPU ソルバーと比較して PDLP を拡張できません。cuOpt LP ソルバーは、このようなシナリオに対応するバッチモードを用意しており、数百もの小規模な LP を並行して提供し、解決できます。
まとめ
cuOpt LP ソルバーは、CUDA プログラミング、NVIDIA GPU ライブラリ、および最新鋭の NVIDIA GPU を使用して、LP を解決します。これは、CPU よりも桁違いに高速で、10 億を超える係数にまで拡大される可能性があります。その結果、大規模な問題に取り組む上で特に有益であり、その利点はさらに顕著になります。
GTC セッション:
Advances in Optimization AI (最適化 AI の進歩)
NGC コンテナー:
cuOpt
SDK:
cuOpt
SDK:
cuSOLVERMp
SDK:
cuSOLVER
従来のシンプレックス法や IPM を用いたほうが上手くいくユース ケースもありますが、将来的には、GPU と CPU の技術を組み合わせたソルバーが主流になるでしょう。
登録すると、
cuOpt LP を試せるように
なった際に、通知を受け取ることができます。
NVIDIA API カタログ
で、
NVIDIA が提供する
最新の AI モデル向けの NIM マイクロサービスを使用して、NVIDIA の
cuOpt 車両経路問題 (VPR: Vehicle Routing Problem
) を今すぐ無料でお試しください。
関連情報


Managing AI Inference Pipelines on Kubernetes with NVIDIA NIM Operator

Developers have shown a lot of excitement for
NVIDIA NIM microservices
, a set of easy-to-use cloud-native microservices that shortens the time-to-market and simplifies the deployment of generative AI models anywhere, across cloud, data centers, cloud, and GPU-accelerated workstations.
To meet the demands of diverse use cases, NVIDIA is bringing to market a variety of different AI models packaged as NVIDIA NIM microservices, which enable key functionality in a
generative AI inference workflow
.
A typical generative AI application integrates multiple different NIM microservices. For instance,
multi-turn conversational AI in a RAG pipeline
uses the LLM, embedding, and re-ranking NIM microservices. The deployment and lifecycle management of these microservices and their dependencies for production generative AI pipelines can lead to additional toil for the MLOps and LLMOps engineers and Kubernetes cluster admins.
This is why NVIDIA is announcing the
NVIDIA NIM Operator
, a Kubernetes operator designed to facilitate the deployment, scaling, monitoring, and management of NVIDIA NIM microservices on Kubernetes clusters. With NIM Operator, you can deploy, auto-scale, and manage the lifecycle of NVIDIA NIM microservices with just a few clicks or commands.
Cluster admins and MLOps and LLMOps engineers don’t have to put effort into the manual deployment, scaling, and lifecycle management of AI inference pipelines. NIM Operator handles all of this and more.
Core capabilities and benefits
Developers are looking to reduce the effort of deploying AI inference pipelines at scale in local deployments. NIM Operator facilitates this with simplified, lightweight deployment and manages the lifecycle of AI NIM inference pipelines on Kubernetes. NIM Operator also supports pre-caching models to enable faster initial inference and autoscaling.
Figure 1. NIM Operator architecture
Figure 2. NIM Operator Helm deployment
Intelligent model pre-caching
NIM Operator offers
pre-caching of models
that reduces initial inference latency and enables faster autoscaling. It also enables model deployments in air-gapped environments.
Use NIM intelligent model pre-caching by specifying NIM profiles and tags, or let NIM Operator auto-detect the best model based on the GPUs available on the Kubernetes cluster. You can pre-cache models on any available node based on your requirements, either on CPU-only or on GPU-accelerated nodes.
When this option is selected, NIM Operator creates a persistent volume claim (PVC) in Kubernetes and then downloads and caches the NIM models in the cluster. Then, NIM Operator deploys and manages the lifecycle of this PVC using the
NIMCache
custom resource.
Figure 3. NIM microservice cache deployment
Automated AI NIM pipeline deployments
NVIDIA is introducing two Kubernetes custom resource definitions (CRDs) to deploy NVIDIA NIM microservices:
NIMService
and
NIMPipeline
.
NIMService
, when deployed, manages each NIM microservice as a standalone microservice.
NIMPipeline
enables the deployment and management of several NIM microservices collectively.
Figure 4 shows a RAG pipeline managed as a microservice pipeline. You can manage multiple pipelines as a collection instead of individual services.
Figure 4. NIM microservice pipeline deployment
Autoscaling
NIM Operator supports
auto-scaling the NIMService deployment
and its
ReplicaSet
using Kubernetes Horizontal Pod Autoscaler (HPA).
The
NIMService
and
NIMPipeline
CRDs support all the familiar HPA metrics and scaling behaviors, such as the following:
Specify minimum and maximum replica counts
Scale using the following metrics:
Per-pod resource metrics, such as CPU
Per-pod custom metrics, such as GPU memory usage
Object metrics, such as NIM max requests or
KVCache
External metrics
You can also specify any HPA scale-up and scale-down behavior, for example, a stabilization window to prevent flapping and scaling policies to control the rate of change of replicas while scaling.
For more information, see
GPU Metrics
.
Figure 5. NIM Auto-scaling
Day 2 operations
NIMService
and
NIMPipeline
support easy rolling upgrades of NIM with a customizable rolling strategy. Change the version number of the NIM in the
NIMService
or
NIMPipeline
CRD and NIM Operator updates the NIM deployments in the cluster.
Any changes in
NIMService
pods are reflected in the
NIMService
and
NIMPipeline
status. You can also add Kubernetes ingress for
NIMService
.
Support matrix
At launch, NIM Operator supports the reasoning LLM and the retrieval—embedding NIM microservice.
We are continuously expanding the list of supported NVIDIA NIM microservices. For more information about the full list of supported NIM microservices, see
Platform Support
.
Conclusion
By automating the deployment, scaling, and lifecycle management of NVIDIA NIM microservices, NIM Operator makes it easier for enterprise teams to adopt NIM microservices and accelerate AI adoption.
This effort aligns with our commitment to make NIM microservices easy to adopt, production-ready, and secure. NIM Operator will be part of future releases of NVIDIA AI Enterprise to provide enterprise support, API stability, and proactive security patching.
Get started with
NIM Operator through NGC today
, or get it from the
GitHub repo
. For technical questions on installation, usage, or issues, please file an issue on the repo.

NVIDIA NIM Operator で Kubernetes の AI 推論パイプラインを管理

Reading Time:
2
minutes
開発者は、これは、クラウド、データ センター、クラウド、GPU により高速化されたワークステーションなど、あらゆる場所で市場投入までの時間を短縮し、生成 AI モデルのデプロイを簡素化することができる、使いやすいクラウドネイティブのマイクロサービスである
NVIDIA NIM マイクロサービス
に大いに期待しています。
多様なユース ケースの要求に応えるため、NVIDIA は、NVIDIA NIM マイクロサービスとしてパッケージ化されたさまざまな AI モデルを市場に投入しており、
生成 AI 推論ワークフロー
の主要な機能を実現しています。
通常の生成 AI アプリケーションでは、複数の異なる NIM マイクロサービスを統合しています。例えば、
RAG パイプラインのマルチターン対話型 AI
では、LLM、埋め込み、リランキングなどの複数の NIM マイクロサービスを使用しています。これらのマイクロサービスのデプロイやライフサイクル管理、本番環境の生成 AI パイプラインへの依存関係により、MLOps および LLMOps のエンジニア、Kubernetes クラスターの管理者の労力がさらに増える場合があります。
このため、NVIDIA は、Kubernetes クラスターで NVIDIA NIM マイクロサービスのデプロイ、スケーリング、監視、管理を容易にするよう設計された Kubernetes オペレーターである
NVIDIA NIM Operator
を発表しました。NIM Operator を使用すれば、わずか数回のクリックまたはコマンドで、NVIDIA NIM マイクロサービスのデプロイ、オートスケーリング、ライフサイクルを管理することができます。
クラスター管理者や MLOps および LLLMOps のエンジニアが、AI 推論パイプラインの手作業によるデプロイ、スケーリング、ライフサイクル管理に労力を費やす必要はありません。NIM Operator がこれらすべてに対処します。
主な機能とメリット
開発者は、AI 推論パイプラインをローカルで大規模にデプロイする労力を軽減したいと考えています。NIM Operator は、簡素化された軽量なデプロイでこれを促進して、Kubernetes で AI NIM 推論パイプラインのライフサイクルを管理します。NIM Operator は、モデルの事前キャッシュもサポートしており、初期推論とオートスケーリングをより高速化することができます。
図 1. NIM Operator のアーキテクチャ
図 2. NIM Operator Helm のデプロイ
モデルのインテリジェント事前キャッシュ
NIM Operator は、
モデルの事前キャッシュ
を行い、初期推論の遅延を低減して、オートスケーリングをより高速化することができます。また、インターネット接続のない環境でもモデルのデプロイが可能です。
NIM プロファイルとタグを指定して、NIM モデルのインテリジェント事前キャッシュを使用するか、Kubernetes クラスターで利用可能な GPU に基づいて、NIM Operator に最適なモデルを自動検出させます。CPU のみが搭載されたノードでも、GPU により高速化されたノードでも、要件に応じて利用可能なノードにモデルを事前キャッシュすることができます。
このオプションを選択すると、NIM Operator は、Kubernetes にPersistent Volume Claim (PVC) を作成し、クラスターに NIM モデルをダウンロードしてキャッシュします。次に、NIM Operator が NIMCache カスタム リソースを使用して、この PVC のライフサイクルをデプロイして管理します。
図 3. NIM マイクロサービス キャッシュのデプロイ
自動 AI NIM パイプライン デプロイ
NVIDIA は、2 つの Kubernetes カスタム リソース定義 (CRD) を導入して、NVIDIA NIM マイクロサービスである
NIMService
と
NIMPipeline
をデプロイします。
NIMService
がデプロイされると、各 NIM マイクロサービスをスタンドアロンのマイクロサービスとして管理します。
NIMPipeline
は、複数の NIM マイクロサービスをまとめてデプロイし、管理することができます。
図 4 は、マイクロサービス パイプラインとして管理される RAG パイプラインを示しています。複数のパイプラインを個別のサービスではなく、一括して管理できます。
図 4. NIM マイクロサービス パイプラインのデプロイ
オートスケーリング
NIM Operator は、Kubernetes Horizontal Pod Autoscaler (HPA) を使用して、
NIMService のデプロイ
とその ReplicaSet のオートスケーリングに対応しています。
NIMService
と
NIMPipeline
の CRD は、以下のような HPA でおなじみのメトリクスとスケーリング動作をすべてサポートしています。
レプリカ数の最小値と最大値を指定する
以下のメトリクスを使用してスケーリングする
CPU など、ポッドごとのリソース メトリクス
GPU メモリの使用量など、ポッドごとのカスタム メトリクス
NIM 最大リクエストや KVCache などのオブジェクト メトリクス
外部メトリクス
また、フラップを防止する安定化ウィンドウや、スケーリング中にレプリカ数の変化を制御するスケーリング ポリシーなど、HPA のスケールアップ動作とスケールダウン動作を指定することもできます。
詳細については、
GPU メトリクス
をご覧ください。
図 5. NIM オートスケーリング
2 日目のオペレーション
NIMService
と
NIMPipeline
は、カスタマイズ可能なローリング戦略で NIM の簡単なローリング アップグレードをサポートしています。
NIMService
または
NIMPipeline
CRD で NIM のバージョン番号を変更すると、NIM Operator は、クラスターの NIM デプロイを更新します。
NIMService
ポッドの変更はすべて
NIMService
と
NIMPipeline
のステータスに反映されます。
NIMService
向けに Kubernetes Ingress を追加することもできます。
サポートされるモデルとプラットフォーム
リリース時点で、NIM Operator は、LLM やRetrieval（埋め込み） NIM マイクロサービスをサポートしています。
NVIDIA は、サポート対象の NVIDIA NIM マイクロサービスのリストを継続的に拡大しています。サポート対象の NIM マイクロサービスの全リストの詳細については、
プラットフォーム サポート
をご覧ください
。
まとめ
NVIDIA NIM マイクロサービスのデプロイ、スケーリング、ライフサイクル管理を自動化することで、NIM Operator は、エンタープライズ チームが NIM マイクロサービスを簡単に導入し、AI の導入を高速化できるようにします。
この取り組みは、NIM マイクロサービスを簡単に導入でき、本番環境に対応し、安全性を確保するという NVIDIA のコミットメントとも一致しています。NIM Operator は、NVIDIA AI Enterprise が今後リリースする機能の一部で、エンタープライズ サポート、API の安定性、プロアクティブなセキュリティ パッチを提供します。
今すぐ NGC で NIM Operator
を使い始めるか、
GitHub リポジトリ
から入手してください。インストール、使用方法、問題に関する技術的な質問については、リポジトリに Issue を提出してください。
関連情報
GTC セッション:
エンタープライズの加速: 次世代 AI デプロイのためのツールやテクニック
GTC セッション:
LLM 推論サイジング: エンドツーエンド推論システムのベンチマーク
NGC コンテナー:
NVIDIA NIM Operator
NGC コンテナー:
NVIDIA GPU Operator
NGC コンテナー:
NV-CLIP
ウェビナー:
本番環境対応の生成 AI で世界最高クラスのテキスト検索精度を実現