Expanding AI Agent Interface Options with 2D and 3D Digital Human Avatars

When interfacing with
generative AI
applications, users have multiple communication options—text, voice, or through digital avatars.
Traditional chatbot or copilot applications have text interfaces where users type in queries and receive text-based responses. For hands-free communication, speech AI technologies like
automatic speech recognition
(ASR) and
text-to-speech
(TTS) facilitate verbal interactions, ideal for scenarios like phone-based customer service. Moreover, combining digital avatars with speech capabilities provides a more dynamic interface for users to engage visually with the application. According to Gartner, by 2028, 45% of organizations with more than 500 employees will leverage employee AI avatars to expand the capacity of human capital.
1
Digital avatars can vary widely in style—some use cases benefit from photorealistic 3D or 2D avatars, while other use cases work better with a stylized, or cartoonish avatar.
3D Avatars
offer fully immersive experiences, showcasing lifelike movements and photorealism. Developing these avatars requires specialized software and technical expertise, as they involve intricate body animations and high-quality renderings.
2D Avatars
are quicker to develop and ideal for web-embedded solutions. They offer a streamlined approach to creating interactive AI, often requiring artists for design and animation but less intensive in terms of technical resources.
To kickstart your creation of a photo-realistic digital human, the
NVIDIA AI Blueprint on digital humans for customer service
can be tailored for various use cases. This functionality is now included with support for the NVIDIA Maxine
Audio2Face-2D
NIM microservice. Additionally, the blueprint now offers flexibility in rendering for 3D avatar developers to use
Unreal Engine
.
How to add a talking digital avatar to your agent application
In the AI Blueprint for digital humans, a user interacts with an
AI agent
that leverages
NVIDIA ACE
technology (Figure 1).
Figure 1. Architecture diagram for the NVIDIA AI Blueprint for digital humans
The audio input from the user is sent to the ACE agent which orchestrates the communication between various NIM microservices. The ACE agent uses the
Riva Parakeet NIM
to convert the audio to text, which is then processed by a RAG pipeline. The RAG pipeline uses the NVIDIA NeMo Retriever
embedding
and
reranking
NIM microservices, and an
LLM NIM
, to respond with relevant context from stored documents.
Finally, the response is converted back to speech via Riva TTS, animating the digital human using the Audio2Face-3D NIM or Audio2Face-2D NIM.
Considerations when designing your AI agent application
In global enterprises, communication barriers across languages can slow down operations. AI-powered avatars with multilingual capabilities communicate across languages effortlessly. The digital human AI Blueprint provides conversational AI capabilities that simulate human interactions that accommodate users’ speech styles and languages through Riva ASR, neural machine translation (NMT) along with intelligent interruption and barge-in support.
One of the key benefits of digital human AI agents is their ability to function as “always-on” resources for employees and customers alike. RAG-powered AI agents continuously learn from interactions and improve over time, providing more accurate responses and better user experiences.
For enterprises considering digital human interfaces, choosing the right avatar and rendering option depends on the use case and customization preferences.
Use Case
: 3D avatars are ideal for highly immersive use cases like in physical stores, kiosks or primarily one-to-one interactions, while 2D avatars are effective for web or mobile conversational AI use cases.
Development and Customization Preferences
: Teams with 3D and animation expertise can leverage their skillset to create an immersive and ultra-realistic avatar, while teams looking to iterate and customize quickly can benefit from the simplicity of 2D avatars.
Scaling Considerations:
Scaling is an important consideration when evaluating avatars and corresponding rendering options. Stream throughput, especially for 3D avatars, is highly dependent on the choice and quality of the character asset used, the desired output resolution and the rendering option of choice (Omniverse Renderer or Unreal Engine) can play a critical role in determining per stream compute footprint.
NVIDIA Audio2Face-2D allows creation of lifelike 2D avatars from just a portrait image and voice input. Easy and simple configurations allow developers to quickly iterate and produce target avatars and animations for their digital human use cases. With real-time output and cloud-native deployment, 2D digital humans are ideal for interactive use cases and streaming avatars for interactive web-embedded solutions.
For example, enterprises looking to deploy AI agents across multiple devices and inserting digital humans into web- or mobile-first customer journeys, can benefit from the reduced hardware demands of 2D avatars.
3D photorealistic avatars provide an unmatched immersive experience for use cases demanding highly empathetic user engagement. NVIDIA Audio2Face-3D and Animation NIM microservices animate a 3D character by generating blendshapes along with subtle head and body animation to create an immersive, photorealistic avatar. The digital human AI Blueprint now supports two rendering options for 3D avatars, including Omniverse Renderer and Unreal Engine Renderer, providing developers the flexibility to integrate the rendering option of their choice.
To explore how digital humans can enhance your enterprise, visit the
NVIDIA API catalog
to learn about the different avatar options.
Getting started with digital avatars
For hands-on development with Audio2Face-2D and Unreal Engine NIM microservices,
apply for ACE Early Access
or dive into the digital human AI Blueprint
technical blog
to learn how you can add digital human interfaces to personalize chatbot applications.
1
Gartner®, Hype Cycle for the Future of Work, 2024 by Tori Paulman, Emily Rose McRae, etc., July 2024
GARTNER is a registered trademark and service mark of Gartner, Inc. and/or its affiliates in the U.S. and internationally and is used herein with permission. All rights reserved.

2D と 3D のデジタル ヒューマン アバターによる AI エージェント インターフェイス オプションの拡張

Reading Time:
2
minutes
ユーザーが
生成 AI
アプリケーションを使ってやり取りする際には、テキスト、音声、デジタル アバターなど複数のコミュニケーション オプションを利用することができます。
従来のチャットボットやコパイロット アプリケーションでは、ユーザーが問い合わせを入力し、テキストベースの応答を受信するテキスト インターフェイスを使用しています。ハンズフリーのコミュニケーションでは、
自動音声認識
(ASR: Automatic Speech Recognition) や
音声合成
(TTS: Text-To-Speech) などの音声 AI 技術により、電話を使用したカスタマー サービスなどのシナリオに最適な口頭によるやり取りが容易になります。さらに、デジタル アバターに音声機能を持たせることで、ユーザーがアプリケーションを視覚的に使用できるため、ダイナミックなインターフェイスを提供できます。Gartner によると、2028 年までに、従業員 500 名以上の組織の 45% が、人的資本の能力拡大のために、 AI アバターの従業員を活用するようになるそうです。
1
デジタル アバターのスタイルは様々で、フォトリアリスティックな 3D または 2D のアバターが適しているケースもあれば、定型化されたアバターや漫画のようなアバターの方が適しているケースもあります。
3D アバター
は、リアルな動きと写実性を再現し、完全な没入体験を提供します。このようなアバターの開発には、複雑なボディー アニメーションや高品質のレンダリングが必要となるため、専門的なソフトウェアや技術的な専門知識が必要になります。
2D アバター
は開発が迅速で、Web に組み込みソリューションに最適です。インタラクティブな AI の作成に合理的なアプローチを提供し、デザインやアニメーションにはアーティストが必要になることが多いですが、技術的なリソースの面はそれほど負担になりません。
フォトリアリスティックなデジタル ヒューマンの作成を始めるにあたり、
カスタマー サービス向けデジタル ヒューマンの NVIDIA AI Blueprint
は、さまざまなユース ケースに合わせてカスタマイズすることができます。この機能は現在、NVIDIA Maxine
Audio2Face-2D
NIM マイクロサービスのサポートに含まれています。さらに、この Blueprint では、3D アバター開発者が
Unreal Engine
を使用できるよう、レンダリングに柔軟性を持たせています。
エージェント アプリケーションに会話するデジタル アバターを追加する方法
デジタル ヒューマン向け AI Blueprint では、ユーザーが
NVIDIA ACE
技術を活用した
AI エージェント
と対話します (図 1)。
図 1. デジタル ヒューマン向け NVIDIA AI Blueprint のアーキテクチャ
ユーザーによる音声入力は、さまざまな NIM マイクロサービス間の通信を調整する ACE エージェントに送信されます。ACE エージェントは、
Riva Parakeet NIM
を使用して音声をテキストに変換し、そのテキストは RAG パイプラインで処理されます。RAG パイプラインでは、NIM マイクロサービスの
埋め込み
と
リランク
を行う NVIDIA NeMo Retriever と
LLM NIM
を使用して、保存されたドキュメントから関連するコンテキストを用いて応答します。
最後に、Riva TTS を介してこの応答を音声に変換し、Audio2Face-3D NIM または Audio2Face-2D NIM を使用してデジタル ヒューマンをアニメーション化します。
AI エージェント アプリケーションを設計する際に考慮すべきポイント
グローバル企業では、言語の壁によるコミュニケーションの障害が業務の妨げとなることがあります。多言語機能を備えた AI 搭載アバターを使用すれば、言語の壁を超えた円滑なコミュニケーションを取ることができます。デジタル ヒューマン AI Blueprint は、Riva ASR やニューラル機械翻訳 (NMT: Neural Machine Translation) に加え、インテリジェントな割り込みやバージイン機能を備え、ユーザーの話し方や言語に柔軟に対応できる、人間らしい対話型 AI を実現します。
デジタル ヒューマン AI エージェントの主な利点の 1 つは、従業員と顧客の両者にとって「常時稼働する」リソースとして機能できることです。RAG を搭載した AI エージェントは、やりとりから継続的に学習し、時間の経過とともに改善していくため、より正確な対応とより優れたユーザー体験を提供することができます。
デジタル ヒューマン インターフェイスを検討している企業にとって、適切なアバターとレンダリング オプションの選択は、ユース ケースやカスタマイズ設定に依存します。
ユース ケース
: 3D アバターは、実店舗やキオスク (無人端末) など、主に 1対 1 のやりとりのような、非常に没入感の高いユース ケースに最適ですが、2D アバターは、Web やモバイルの対話型 AI ユース ケースに効果的です。
開発とカスタマイズの設定
: 3D やアニメーションの専門知識を持つチームは、そのスキルを活用して没入感のある超リアルなアバターを作成できます。一方、反復作業やカスタマイズを迅速に行いたいチームには、シンプルな 2D アバターが有効です。
スケーリングの考慮すべきポイント
: アバターと対応するレンダリング オプションを評価する際に、スケーリングは考慮すべき重要なポイントです。ストリームのスループットは、特に 3D アバターの場合、使用するキャラクター アセットの選択と品質によって大きく異なります。希望する出力解像度や選択するレンダリング オプション (Omniverse Renderer または Unreal Engine) は、ストリームあたりの計算フットプリントを決定する上で重要な役割を果たします。
NVIDIA Audio2Face-2D では、顔写真と音声入力だけでリアルな 2D アバターを作成できます。簡単でシンプルな構成のため、開発者はデジタル ヒューマンのユース ケースに合わせたアバターやアニメーションを迅速に繰り返し作成できます。リアルタイム出力とクラウド ネイティブのデプロイにより、2D デジタル ヒューマンは、インタラクティブなユース ケースや、インタラクティブな Web 組み込みソリューション向けのストリーミング アバターに最適です。
たとえば、複数のデバイスに AI エージェントをデプロイし、Web またはモバイル ファーストのカスタマー ジャーニーにデジタル ヒューマンを導入しようとしている企業には、2D アバターはハードウェア要件が軽減するのでメリットがあります。
3D のフォトリアリスティックなアバターは、高い共感が要求されるユーザー エンゲージメントを必要とするユース ケースに、比類のない没入体験を提供します。NVIDIA Audio2Face-3D とアニメーション NIM マイクロサービスは、繊細な頭部と身体のアニメーションとともにブレンドシェイプを生成し、没入感のあるフォトリアリスティックなアバターを作成することで、3D キャラクターをアニメーション化します。デジタル ヒューマン AI Blueprint は、3D アバターのレンダリング オプションをとして、Omniverse レンダラーと Unreal-Engine レンダラーをサポートしており、開発者が選択したレンダリング オプションを柔軟に統合できるようになりました。
デジタル ヒューマンが企業を強化する方法については、
NVIDIA API カタログ
にアクセスして、さまざまなアバターのオプションをご覧ください。
デジタル アバターを始める
Audio2Face-2D と Unreal Engine NIM マイクロサービスを使用した実践的な開発については、
ACE 早期アクセスに申し込む
か、デジタル ヒューマン AI Blueprint の
技術ブログ
にアクセスして、チャットボット アプリケーションをパーソナライズするためにデジタル ヒューマン インターフェイスを追加する方法について学ぶことができます。
1
Gartner®, Hype Cycle for the Future of Work, 2024 by Tori Paulman, Emily Rose McRae, etc., July 2024
GARTNER is a registered trademark and service mark of Gartner, Inc. and/or its affiliates in the U.S. and internationally and is used herein with permission. All rights reserved.
関連情報
GTC セッション:
Enhancing the Digital Human Experience with Cloud Microservices Accelerated by Generative AI
GTC セッション:
Build a World of Interactive Avatars Based on NVIDIA Omniverse, AIGC, and LLM
NGC コンテナー:
ACE エージェント サンプル フロントエンド
SDK:
NVIDIA Tokkio
ウェビナー:
How Telcos Transform Customer Experiences with Conversational AI


AI-RAN Goes Live and Unlocks a New AI Opportunity for Telcos

AI is transforming industries, enterprises, and consumer experiences in new ways. Generative AI models are moving towards reasoning,
agentic AI
is enabling new outcome-oriented workflows and
physical AI
is enabling endpoints like cameras, robots, drones, and cars to make decisions and interact in real time.
The common glue between all these use cases is the need for pervasive, reliable, secure, and super-fast connectivity.
Telecommunication networks must prepare for this new kind of AI traffic, which can come directly through the fronthaul wireless access network or backhauled from the public or private cloud as a completely standalone AI inferencing traffic generated by enterprise applications.
Local wireless infrastructure offers an ideal place to process AI inferencing. This is where a new approach to telco networks, AI radio access network (
AI-RAN
), stands out.
Traditional CPU or ASIC-based RAN systems are designed only for RAN use and cannot process AI traffic today. AI-RAN enables a common GPU-based infrastructure that can run both wireless and AI workloads concurrently, turning networks from single-purpose to multi-purpose infrastructures and turning sites from cost-centers to revenue sources.
With a strategic investment in the right kind of technology, telcos can leap forward to become the AI grid that facilitates the creation, distribution, and consumption of AI across industries, consumers, and enterprises. This moment in time presents a massive opportunity for telcos to build a fabric for AI training (creation) and AI inferencing (distribution) by repurposing their central and distributed infrastructures.
SoftBank and NVIDIA fast-forward AI-RAN commercialization
SoftBank has turned the AI-RAN vision into reality, with its
successful outdoor field trial
in Fujisawa City, Kanagawa, Japan, where NVIDIA-accelerated hardware and
NVIDIA Aerial
software served as the technical foundation.
This achievement marks multiple steps forward for AI-RAN commercialization and provides real proof points addressing industry requirements on technology feasibility, performance, and monetization:
World’s first outdoor 5G AI-RAN field trial running on an NVIDIA-accelerated computing platform. This is an end-to-end solution based on a full-stack, virtual 5G RAN software integrated with 5G core.
Carrier-grade virtual RAN performance achieved.
AI and RAN multi-tenancy and orchestration achieved.
Energy efficiency and economic benefits validated compared to existing benchmarks.
A new solution to unlock AI marketplace integrated on an AI-RAN infrastructure.
Real-world AI applications showcased, running on an AI-RAN network.
Above all, SoftBank aims to commercially release their own AI-RAN product for worldwide deployment in 2026.
To help other mobile network operators get started on their AI-RAN journey now, SoftBank is also planning to offer a reference kit comprising the hardware and software elements required to trial AI-RAN in a fast and easy way.
End-to-end AI-RAN solution and field results
SoftBank developed their AI-RAN solution by integrating hardware and software components from NVIDIA and ecosystem partners and hardening them to meet carrier-grade requirements. Together, the solution enables a full 5G vRAN stack that is 100% software-defined, running on NVIDIA GH200 (CPU+GPU), NVIDIA Bluefield-3 (NIC/DPU), and Spectrum-X for fronthaul and backhaul networking. It integrates with 20 radio units and a 5G core network and connects 100 mobile UEs.
The core software stack includes the following components:
SoftBank-developed and optimized 5G RAN Layer 1 functions such as channel mapping, channel estimation, modulation, and forward-error-correction, using
NVIDIA Aerial CUDA-Accelerated-RAN
libraries
Fujitsu software for Layer 2 functions
Red Hat’s OpenShift Container Platform (OCP) as the container virtualization layer, enabling different types of applications to run on the same underlying GPU computing infrastructure
A SoftBank-developed E2E AI and RAN orchestrator, to enable seamless provisioning of RAN and AI workloads based on demand and available capacity
The underlying hardware is the
NVIDIA GH200 Grace Hopper Superchip
, which can be used in various configurations from distributed to centralized RAN scenarios. This implementation uses multiple GH200 servers in a single rack, serving AI and RAN workloads concurrently, for an aggregated-RAN scenario. This is comparable to deploying multiple traditional RAN base stations.
In this pilot, each GH200 server was able to process 20 5G cells using 100-MHz bandwidth, when used in RAN-only mode. For each cell, 1.3 Gbps of peak downlink performance was achieved in ideal conditions, and 816Mbps was demonstrated with carrier-grade availability in the outdoor deployment.
AI-RAN multi-tenancy achieved
One of the first principles of AI-RAN technology is to be able to run RAN and AI workloads concurrently and without compromising carrier-grade performance. This multi-tenancy can be either in time or space: dividing the resources based on time of day or based on percentage of compute. This also implies the need for an orchestrator that can provision, de-provision, or shift workloads seamlessly based on available capacity.
At the Fujisawa City trial, concurrent AI and RAN processing was successfully demonstrated over GH200 based on static allocation of resources between RAN and AI workloads (Figure 1).
Figure 1. AI and RAN concurrency and total GPU utilization
Each NVIDIA GH200 server constitutes multiple MIGs (Multi-Instance GPU), that enable a single GPU to be divided into multiple isolated GPU instances. Each instance has its own dedicated resources, such as memory, cache, and compute cores, and can operate independently.
The SoftBank orchestrator intelligently assigns whole GPUs or some MIGs within a GPU to run AI and some to run RAN workloads and switches them dynamically when needed. It is also possible to statically allocate a certain percentage of compute for RAN and AI, for example, 60% for RAN and 40% for AI instead of demand-based allocation.
The goal is to maximize capacity utilization. With AI-RAN, telcos can achieve almost 100% utilization compared to 33% capacity utilization for typical RAN-only networks. This is an increase of up to 3x while still catering to peak RAN loads, thanks to dynamic orchestration and prioritization policies.
Enabling an AI-RAN marketplace
With a new capacity for AI computing now available on distributed AI-RAN infrastructure, the question arises of how to bring AI demand to this AI computing supply.
To solve this, SoftBank used a serverless API powered by NVIDIA AI Enterprise to deploy and manage AI workloads on AI-RAN, with security, scale, and reliability. The NVIDIA AI Enterprise serverless API is hosted on the AI-RAN infrastructure and integrated with the SoftBank E2E AI-RAN orchestrator. It connects to any public or private cloud running the same API, to dispatch external AI inferencing jobs to the AI-RAN server when compute is available (Figure 2).
Figure 2. AI marketplace solution integrated with SoftBank AI-RAN
This solution enables an AI marketplace, helping SoftBank deliver localized, low-latency, secured inferencing services. It also demonstrated the importance of AI-RAN in helping telcos become the AI distribution grid, particularly for external AI inferencing jobs, and opened a new revenue opportunity.
AI-RAN applications showcased
In this outdoor trial, new edge AI applications developed by SoftBank were demonstrated over the live AI-RAN network:
Remote support of autonomous vehicles over 5G
Factory multi-modal AI applications
Robotics applications
Remote support of autonomous vehicles over 5G
The key requirements of the social implementation of autonomous driving are vehicle safety and reducing operational costs.
At the Fujisawa City trial, SoftBank demonstrated an autonomous vehicle, relaying its front camera video using 5G to an AI-based remote support service hosted on the AI-RAN server. Multi-modal AI models analyzed the video stream, did risk assessment, and sent recommended actions to autonomous vehicles using text over 5G.
This is an example of explainable AI as well, as all the actions of the autonomous vehicle could be monitored and explained through summarized text and logging for remote support.
Factory multi-modal AI applications
In this use case, multi-modal inputs including video, audio, and sensor data, are streamed using 5G into the AI-RAN server. Multiple LLMs, VLMs, retrieval-augmented generation (RAG) pipelines, and NVIDIA NIM microservices hosted on the AI-RAN server are used to coalesce these inputs and make the knowledge accessible through a chat interface to users using 5G.
This fits well for factory monitoring, construction site inspections, and similar complex indoor and outdoor environments. The use case demonstrates how edge AI-RAN enables local data sovereignty by keeping data access and analysis local, secure, and private, which is a mandatory requirement of most enterprises.
Robotics applications
SoftBank demonstrated the benefit of edge AI inferencing for a robot connected over 5G. A robodog was trained to follow a human based on voice and motion.
The demo compared the response time of the robot when the AI inferencing was hosted on the local AI-RAN server to when it was hosted on the central cloud. The difference was apparent and obvious. The edge-based inference robodog followed the human’s movements instantly, while the cloud-based inference robot struggled to keep up.
Accelerating the AI-RAN business case with the Aerial RAN Computer-1
While the AI-RAN vision has been embraced by the industry, the energy efficiency and economics of GPU-enabled infrastructure remain key requirements, particularly how they compare to traditional CPU– and ASIC-based RAN systems.
With this live field trial of AI-RAN, SoftBank and NVIDIA have not only proven that GPU-enabled RAN systems are feasible and high-performant, but they are also significantly better in energy efficiency and economic profitability.
NVIDIA recently announced the
Aerial RAN Computer-1
based on the next-generation NVIDIA Grace Blackwell superchips as the recommended AI-RAN deployment platform. The goal is to migrate SoftBank 5G vRAN software from NVIDIA GH200 to NVIDIA Aerial RAN Computer-1 based on GB200-NVL2, which is an easier shift given the code is already CUDA-ready.
With
GB200-NVL2
, the available compute for AI-RAN will increase by a factor of 2x. The AI processing capabilities will improve by 5x for Llama-3 inferencing, 18x for data processing, and 9x for vector database search compared to prior H100 GPU systems.
For this evaluation, we compared the target deployment platform, Aerial RAN Computer-1 based on GB200 NVL2, with the latest generation of x86 and the best-in-class custom RAN product benchmarks and validated the following findings:
Accelerated AI-RAN offers best-in-class AI performance
Accelerated AI-RAN is sustainable RAN
Accelerated AI-RAN is highly profitable
Accelerated AI-RAN offers best-in-class AI performance
In 100% AI-only mode, each GB200-NVL2 server generates 25000 tokens/second, which translates to $20/hr of available monetizable compute per server, or $15K/month per server.
Keeping in mind that the average revenue per user (ARPU) of wireless services today ranges between $5–50/month depending on the country, AI-RAN opens a new multi-billion-dollar AI revenue opportunity that is orders of magnitude higher than revenues from RAN-only systems.
The token AI workload used is Llama-3-70B FP4, showcasing that AI-RAN is already capable of running the world’s most advanced LLM models.
Accelerated AI-RAN is sustainable RAN
In 100% RAN-only mode, GB200-NVL2 server power performance in Watt/Gbps shows the following benefits:
40% less power consumption than the best-in-class custom RAN-only systems today
60% less power consumption than x86-based vRAN
For an even comparison, this assumes the same number of 100-MHz 4T4R cells and 100% RAN-only workload across all platforms.
Figure 3. RAN power consumption and performance (watt/Gbps)
Accelerated AI-RAN is highly profitable
For this evaluation, we used the scenario of covering one district in Tokyo with 600 cells as the common baseline for RAN deployment for each of the three platforms being compared. We then looked at multiple scenarios for AI and RAN workload distribution, ranging from RAN-only to RAN-heavy or AI-heavy.
In the AI-heavy scenario (Figure 4), we used a one-third RAN and two-third AI workload distribution:
For every dollar of CapEx investment in accelerated AI-RAN infrastructure based on NVIDIA GB200 NVL2, telcos can generate 5x the revenue over 5 years.
From an ROI perspective, the overall investment delivers a 219% return, considering all CapEx and OpEx costs.This is of course specific to SoftBank, as it uses local country costs assumptions.
Figure 4. AI-RAN economics for covering one Tokyo district with 600 cells
33% AI and 67% RAN
67% AI and 33% RAN
$ of revenue per $ of CapEx
2x
5x
ROI %
33%
219%
Table 1. AI-heavy scenario compared to RAN-heavy results
In the RAN-heavy scenario, we used two-thirds RAN and one-third AI workload distribution and found that revenue divided by CapEx for NVIDIA-accelerated AI-RAN is 2x, with a 33% ROI over 5 years, using SoftBank local cost assumptions.
In the RAN-only scenario, NVIDIA Aerial RAN Computer-1 is more cost-efficient than custom RAN-only solutions, which underscores the benefits of using accelerated computing for radio signal processing.
From these scenarios, it is evident that AI-RAN is highly profitable as compared to RAN-only solutions, in both AI-heavy and RAN-heavy modes. In essence, AI-RAN transforms traditional RAN from a cost center to a profit center.
The profitability per server improves with higher AI use. Even in RAN-only, AI-RAN infrastructure is more cost-efficient than custom RAN-only options.
Key assumptions used for the revenue and TCO calculations include the following:
The respective number of platforms, servers, and racks for each platform are calculated using a common baseline of deploying 600 cells on the same frequency, 4T4R.
The total cost of ownership (TCO) is calculated over 5 years and includes the cost of hardware, software, and vRAN and AI operating costs.
For the new AI revenue calculation, we used $20/hr/server based on GB200 NVL2 AI performance benchmarks.
OpEx costs are based on local Japan power costs and aren’t extensible worldwide.
ROI % = (new AI revenues – TCO) / TCO
This validation of AI revenue upside, energy efficiency, and profitability of AI-RAN leaves no doubts about the feasibility, performance, and economic benefits of the technology.
Going forward, exponential gains with each generation of NVIDIA superchips, such as Vera Rubin, will multiply these benefits by orders of magnitude further, enabling the much-awaited business transformation of telco networks.
Looking ahead
SoftBank and NVIDIA are
continuing to collaborate
toward the commercialization of AI-RAN and bringing new applications to life. The next phase of the engagements will entail work on AI-for-RAN to improve spectral efficiency and on NVIDIA Aerial Omniverse digital twins to simulate accurate physical networks in the digital world for fine-tuning and testing.
NVIDIA AI Aerial lays the foundation for operators and ecosystem partners globally to use the power of accelerated computing and software-defined RAN + AI to transform 5G and 6G networks. You can now use NVIDIA Aerial RAN Computer-1 and AI Aerial software libraries to develop your own implementation of AI-RAN.
NVIDIA AI Enterprise is also helping create new AI applications for telcos, hostable on AI-RAN, as is evident from this trial where many NVIDIA software toolkits have been used. This includes NIM microservices for generative AI, RAG, VLMs, NVIDIA Isaac for robotics training, NVIDIA NeMo, RAPIDS, NVIDIA Triton for inferencing, and a serverless API for AI brokering.
The telecom industry is at the forefront of a massive opportunity to become an AI service provider. AI-RAN can kickstart this new renaissance for telcos worldwide, using accelerated computing as the new foundation for wireless networks.
This announcement marks a breakthrough moment for AI-RAN technology, proving its feasibility, carrier-grade performance, superior energy efficiency, and economic value. Every dollar of CapEx invested in NVIDIA-accelerated AI-RAN infrastructure generates 5x revenues, while being 6G-ready.
The journey to AI monetization can start now.

AI-RAN が通信事業者向けに新しい AI のビジネス チャンスをもたらす

Reading Time:
4
minutes
AI は、業界、企業、消費者の体験を新しい方法で変革しています。 生成 AI モデルは推論に移行し、
エージェント型 AI
は新しい結果重視のワークフローを可能にし
フィジカル AI
により、カメラ、ロボット、ドローン、自動車などのエンドポイントがリアルタイムで意思決定を行い、対話できるようになります。
これらのユース ケースに共通するのは、普及し、信頼性が高く、安全で、超高速な接続が必要であることです。
通信ネットワークは、フロントホール無線アクセス ネットワークを介して直接送信されるか、エンタープライズ アプリケーションによって生成されるパブリック クラウドまたはプライベート クラウドからのバックホールからの完全にスタンドアロンの AI 推論トラフィックのような新しい種類の AI トラフィックに備える必要があります。
ローカル ワイヤレス インフラストラクチャは、AI 推論を処理するのに最適な場所を提供します。 これは、通信会社 ネットワークに対する新しいアプローチである AI 無線アクセス ネットワーク (
AI-RAN
) の特徴です。
従来の CPU または ASIC ベースの RAN システムは、RAN のみのために設計されており、現在では AI トラフィックを処理できません。 AI-RAN は、ワイヤレスと AI のワークロードを同時に実行できる共通の GPU ベースのインフラストラクチャを提供します。これにより、ネットワークを単一目的から多目的インフラストラクチャに変え、コスト センターからプロフィット センターに変えられます。
適切な種類のテクノロジに戦略的投資を行うことで、通信会社は業界、消費者、企業にわたって AI の作成、配信、使用を容易にする、 AI グリッドへと飛躍することができます。今が通信会社にとって、中央集中的で分散されたインフラストラクチャを再利用することで、AI トレーニング (作成) と AI 推論 (配信) のためのファブリックを構築する大きな機会となります。
SoftBank と NVIDIA が AI-RANの商用化を進める
SoftBank は、NVIDIA アクセラレーション ハードウェアと NVIDIA Aerial ソフトウェアを技術基盤として活用し、
神奈川県藤沢市で屋外
フィールド トライアルを成功させ、
AI-RAN ビジョンを
現実のものにしました。
この達成は、AI-RAN の商用化に向けた大きな前進であり、テクノロジの実現性、パフォーマンス、収益化に関する業界の要件に対応する実証ポイントを提供します。
NVIDIA のアクセラレーテッド コンピューティング プラットフォームで実行される世界初の屋外 5G AI-RAN フィールド トライアル。 これは、5G コアと統合されたフルスタックの仮想 5G RAN ソフトウェアに基づくエンドツーエンドのソリューションです。
キャリア グレードの仮想 RAN のパフォーマンスを実現。
AI と RAN のマルチテナントとオーケストレーションを実現。
エネルギー効率と経済的なメリットが、既存のベンチマークと比較して検証されました。
AI-RAN インフラストラクチャに統合された AI マーケットプレイスを提供する新しいソリューション。
AI-RAN ネットワークで実行される実際の AI アプリケーションが紹介されます。
何よりも、SoftBank は、世界中に展開するために、独自の AI-RAN 製品を商業的にリリースすることを目指しています。
他の通信事業者が今すぐ AI-RAN の導入を支援するために、SoftBank は、AI-RAN を試用するために必要なハードウェアとソフトウェアの要素で構成されたリファレンス キットを、簡単かつ迅速に提供する予定です。
エンドツーエンドの AI-RAN ソリューションとフィールド トライアルの結果
SoftBank は、NVIDIA とエコシステム パートナーのハードウェアとソフトウェア コンポーネントを統合し、キャリアグレードの要件を満たすように強化することで、AI-RAN ソリューションを開発しました。 このソリューションは、NVIDIA GH200 (CPU+GPU)、NVIDIA Bluefield-3 (NIC/DPU)、フロントホールおよびバックホール ネットワーキング用の Spectrum-X で実行される 100% ソフトウェア デファインドの完全な 5G vRAN スタックが実現します。 20 台の無線ユニットと 5G コア ネットワークを統合し、100 台のモバイル UE を接続します。
コア ソフトウェア スタックには、以下のコンポーネントが含まれています。
SoftBank が
NVIDIA Aerial CUDA-Accelerated-RAN
ライブラリを使用して、 5G RAN レイヤー 1 のチャネル マッピング、チャネル推定、変調、前方エラー訂正などの機能を開発し、最適化しました。
レイヤー 2 機能向け Fujitsu ソフトウェア
コンテナーの仮想化レイヤーとしての Red Hat の OpenShift Container Platform (OCP) により、同じ基盤となる GPU コンピューティング インフラストラクチャで異なるタイプのアプリケーションが実行されます
SoftBank が開発した E2E、AI と RAN オーケストレーター。需要と使用可能な容量に基づいて RAN と AI のワークロードのシームレスなプロビジョニングを可能にします。
基盤となるハードウェアは、
NVIDIA GH200 Grace Hopper Superchip
であり、分散型から集中型 RAN シナリオまで、さまざまな構成で使用できます。 この実装では、集約された RAN のシナリオのために、1 つのラックで複数の GH200 サーバーを使用し、AI と RAN のワークロードを同時に処理します。 これは、従来の RAN 基地局を複数展開するのに相当します。
このパイロットでは、RAN のみのモードで使用された場合、各 GH200 サーバーは、100 MHz 帯域幅で 20 個の 5G セルを処理することができました。 各セルでは、理想的な条件下で 1.3 Gbps のピーク ダウンリンク性能が達成され、屋外展開ではキャリアグレードの可用性で 816 Mbps が実証されました。
AI-RAN のマルチテナントを実現
AI-RAN テクノロジの第一の原則の 1 つは、キャリアグレードのパフォーマンスを損なうことなく、RAN と AI のワークロードを同時に実行できることです。 このマルチテナントは、時間または空間のいずれかで実行でき、時間帯またはコンピューティングの割合に基づいてリソースを分割します。 また、これは、使用可能な容量に基づいて、ワークロードをシームレスにプロビジョニング、プロビジョニングの解除、シフトできるオーケストレーターの必要性も意味します。
藤沢市の実証実験では、RAN と AI ワークロード間のリソースの静的割り当てに基づいて、GH200 上での AI と RAN の同時処理が実証されました。 (図 1)。
図 1. AI と RAN の同時処理と GPU の合計使用率
各 NVIDIA GH200 サーバーは、複数の MIG (マルチインスタンス GPU) で構成され、1 つの GPU を複数の独立した GPU インスタンスに分割できます。 各インスタンスには、メモリ、キャッシュ、コンピューティング コアなど、独自の専用リソースがあり、独立して動作できます。
SoftBank オーケストレーターは、AI を実行するために GPU 全体または GPU の一部をインテリジェントに割り当て、RAN のワークロードを実行し、必要に応じて動的に切り替えます。 需要に基づく割り当てではなく、RAN と AI に一定の割り当てを、RAN に 60% と AI に 40% のコンピューティングを静的に割り当てることもできます。
目標は、容量使用率を最大化することです。 AI-RAN を使用すると、通信会社は、通常の RAN のみのネットワークでの 33% の容量使用率と比較して、ほぼ 100% の使用率を実現できます。 これは、動的なオーケストレーションと優先順位付けポリシーのおかげで、ピークの RAN の負荷に対応しながら、最大 3 倍の増加です。
AI-RAN マーケットプレイスの実現
分散型 AI-RAN インフラストラクチャで AI コンピューティングの新しい機能が利用できるようになったため、この AI コンピューティングの供給に AI の需要をどのように取り込むかという疑問が生じます。
この問題を解決するために、SoftBank は、NVIDIA AI エンタープライズ を活用したサーバーレス API を使用して、セキュリティ、拡張性、信頼性を備えて AI-RAN で AI ワークロードを展開し、管理しました。 NVIDIA AI エンタープライズのサーバーレス API は、AI-RAN インフラストラクチャでホストされ、SoftBank E2E AI-RAN オーケストレーターと統合されています。 同じ API を実行するパブリック クラウドまたはプライベート クラウドに接続し、コンピューティングが利用可能になったときに、外部の AI 推論ジョブを AI-RAN サーバーに割り当てます (図 2)。
図 2. SoftBank AI-RAN と統合された AI マーケットプレイス ソリューション
このソリューションにより AI マーケットプレイスが実現し、ソフトバンクはローカライズされた低遅延の安全な推論サービスを提供できるようになります。  また、特に外部の AI 推論の仕事のために、通信会社が AI 配信グリッドになるのを支援する上で AI-RAN の重要性も実証し、新しい収益の機会を作ります。
AI-RAN アプリケーションが紹介
この屋外の試用では、SoftBank が開発した新しいエッジ AI アプリケーションがライブ AI-RAN ネットワークでデモンストレーションされました。
5G を介した自動運転車のリモート サポート
工場出荷時のマルチモーダル
ロボティクス アプリケーション
5G を介した自動運転車のリモート サポート
自動運転の社会的実装の重要な要件は、車の安全性と運用コストの削減です。
藤沢市の実証実験では、ソフトバンクが自動運転車を実演し、前方カメラの映像を 5G で AI-RAN サーバーにホストされた AI ベースの遠隔サポート サービスに中継した。 マルチモーダル AI モデルは、ビデオ ストリームを分析し、リスク評価を行い、5G を介したテキストを使用して自動運転車に推奨のアクションを送信しました。
これは、説明可能な AI の例でもあります。リモート サポートのための要約されたテキストとログを通じて、自動運転車のすべての動作を監視し、説明することができました。
工場出荷時のマルチモーダル
このユース ケースでは、ビデオ、オーディオ、センサー データを含むマルチモーダル入力が、5G を使用して AI-RAN サーバーにストリーミングされます。 AI-RAN サーバーでホストされる、複数の LLM、VLM、検索拡張生成 (RAG) パイプライン、NVIDIA NIM マイクロサービスは、これらの入力を統合し、5G を使用するユーザーがチャット インターフェイスを介して情報にアクセスできるようにするために使用されます。
これは、工場の監視、建設現場の検査、同様の複雑な屋内および屋外の環境に最適です。 このユース ケースでは、エッジ AI-RAN がデータ アクセスと分析をローカル、安全、プライベートに保つことで、ローカル データの主権を実現する方法を示しています。これは、ほとんどの企業にとって必須の要件です。
ロボティクス アプリケーション
SoftBank は、5G を介して接続されたロボットのエッジ AI 推論の利点を実証しました。 ロボドッグは、声と動きに基づいて人間を追うようにトレーニングされました。
このデモでは、AI 推論がローカル AI-RAN サーバーでホストされたときのロボットの応答時間と、セントラル クラウドでホストされたときの応答時間を比較しました。 その違いは明白でした。 エッジ ベースの推論 ロボドッグは、人間の動きを即座に追跡しましたが、クラウド ベースの推論ロボットは、追いつくのに苦労しました。
Aerial RAN Computer-1 で AI-RAN のビジネス ケースを高速化
AI-RAN ビジョンは業界で受け入れられていますが、GPU 対応インフラストラクチャのエネルギー効率と経済性、特に従来の CPU および ASIC ベースの RAN システムとの比較は依然として重要な要件です。
AI-RAN のこのライブ フィールド トライアルにより、SoftBank と NVIDIA は、GPU 対応の RAN システムが実現可能で、高性能であることを実証しただけでなく、エネルギー効率と経済的な収益性も大幅に向上していることを実証しました。
NVIDIA は最近、次世代 NVIDIA Grace Blackwell Superchip をベースにした
Aerial RAN Computer-1
を推奨 AI-RAN 展開プラットフォームとして発表しました。 目的は、GB200-NVL2 をベースとした SoftBank 5G vRAN ソフトウェアを NVIDIA GH200 から NVIDIA Aerial RAN Computer-1 に移行することです。これは、コードがすでに CUDA に対応しているため、移行が容易です。
また、
GB200-NVL2
を使用すると、AI-RAN で利用可能なコンピューティング能力が 2 倍になります。 AI 処理機能は、以前の H100 GPU システムと比較して、Llama-3 推論が 5 倍、データ処理が 18 倍、ベクトル データベース検索が 9 倍に改善されます。
この評価のために、ターゲットの展開 プラットフォーム、GB200 NVL2 をベースとする Aerial RAN Computer-1、最新世代の x86 とクラス最高のカスタム RAN 製品ベンチマークを比較し、以下の結果を検証しました。
高速化された AI-RAN は、クラス最高の AI パフォーマンスを提供します
高速化された AI-RAN は持続可能な RAN
高速化された AI-RAN は、非常に収益性が高い
高速化された AI-RAN は、クラス最高の AI パフォーマンスを提供します
100% AI のみのモードでは、各 GB200-NVL2 サーバーは、毎秒 25,000 トークンを生成します。これは、サーバー 1 台の収益化可能なコンピューティングの利用率が 20 ドル/時間、またはサーバーあたりの月15,000 ドルに換算します。
現在のワイヤレス サービスのユーザー 1 人の平均収益 (ARPU) は、国によっては月 5 ～ 50 ドルの範囲であることに留意して、AI-RAN は、RAN のみのシステムよりも数倍の高い、数十億ドル規模の AI 収益の機会を提供します。
使用されるトークン AI ワークロードは、Llama-3-70B FP4 であり、AI-RAN がすでに世界で最も高度な LLM モデルを実行できることを実証します。
高速化された AI-RAN は持続可能な RAN
100% RAN のみのモードでは、GB200-NVL2 サーバーの電力パフォーマンスは、ワット/Gbps で以下の利点があります。
今日、クラス最高のカスタム RAN のみのシステムと比較して、消費電力が 40% 削減
x86 ベースの vRAN と比較して、消費電力が 60% 削減
比較のために、これはすべてのプラットフォームで同じ数の 100 MHz 4T4R セルと、100% RAN のみのワークロードを想定しています。
図 3. RAN の消費電力とパフォーマンス (ワット/Gbps)
高速化された AI-RAN は、非常に収益性が高い
この評価のために、比較された 3 つのプラットフォームのそれぞれで RAN 展開の共通のベースラインとして、東京都の 1 地区を 600 セルでカバーするシナリオを使用しました。 次に、RAN のみから RAN を重くするまたは AI を重視するまで、AI と RAN のワークロード分布の複数のシナリオを調べました。
AI が多いシナリオ (図 4) では、RAN が 3 分の 1、AI ワークロードが 3 分の 2 を分散しました。
NVIDIA GB200 NVL2 をベースとする高速化された AI-RAN インフラストラクチャへの資本支出 (CapEx) 投資額の1ドルに対して、通信会社は 5 年間で 5 倍の収益を生み出すことができます。
ROI の観点から、資本支出と運用支出のすべてのコストを考慮して、投資全体は 219% のリターンを実現します。これは、現地のコスト想定を使用しているため、もちろん SoftBank 特有のものです。
図 4. 600 セルで 1 つの東京都地区をカバーする AI-RAN の経済性
33% AIと 67% RAN
67% AI と 33% RAN
CapEx 1 ドルあたりの収益 $
2x
5x
ROI %
33%
219%
表 1. AI を多用するシナリオと比較した結果
RAN を多用するシナリオでは、3 分の 2 を RAN、3 分の 1 を AI ワークロード分散に使用し、NVIDIA アクセラレーション AI-RAN の CapEx で割った収益は 2 倍になり、SoftBank のローカル コスト想定を使用して 5 年間で 33% の ROI が得られることがわかりました。
RAN のみのシナリオでは、NVIDIA Aerial RAN Computer-1 はカスタム RAN のみのソリューションよりもコスト効率が高く、無線信号処理にアクセラレーテッド コンピューティングを使用する大きな利点となります。
これらのシナリオから、AI を多用するモード RAN を多用するモードの両方で、RAN のみのソリューションと比較して、AI-RAN が高い収益性が明らかになります。 本質的に、AI-RAN は、従来の RAN をコスト センターから利益センターに変革します。
AI の使用量の増加により、サーバーあたりの収益性が向上します。 RAN のみの場合でも、AI-RAN インフラストラクチャは、カスタム RAN のみのオプションよりもコスト効率が高くなります。
収益と TCO の計算に使用された主な前提条件には、次のものが含まれます。
各プラットフォームのプラットフォーム、サーバー、ラックのそれぞれの数は、同じ周波数である 4T4R で 600 セルをデプロイする共通のベースラインを使用して計算されます。
総所有コスト (TCO) は、5 年以上で計算されており、ハードウェア、ソフトウェア、vRAN、AI の運用コストが含まれています。
新しい AI 収益の計算には、GB200 NVL2 AI パフォーマンス ベンチマークに基づいて、サーバーあたりの時間 20 ドルを使用しました。
運用支出コストは、日本の現地の電力コストに基づいており、世界的に拡張することはできません。
ROI % = (新しい AI 収益 – TCO) / TCO
AI の収益の向上、エネルギー効率、収益性、収益性のこの検証により、このテクノロジの実現性、パフォーマンス、経済的なメリットに疑いの余地はありません。
今後、Vera Rubin などの NVIDIAスーパーチップの各世代が指数関数的に増加することで、これらのメリットはさらに桁違いに増大し、待望の通信ネットワークのビジネス変革が可能になります。
将来を見据える
SoftBank と NVIDIA は、AI-RAN の商業化と新しいアプリケーションを生み出すために、
継続的に協力
しています。 この契約の次のフェーズでは、スペクトル効率を向上させる AI-for-RAN の取り組みと、ファインチューニングとテストのためにデジタル ネットワークをシミュレートする NVIDIA Aerial Omniverse デジタル ツインの取り組みが含まれます。
NVIDIA AI Aerial は、世界中の通信事業者とエコシステム パートナーが、アクセラレーテッド コンピューティングとソフトウェア デファインド RAN + AI のパワーを使用して、5G および 6G ネットワークを変革する基盤を築きます。 NVIDIA Aerial RAN Computer-1 と AI Aerial ソフトウェア ライブラリを使用して、独自の AI-RAN 実装を開発できるようになりました。
NVIDIA AI エンタープライズ は、多くの NVIDIA ソフトウェア ツールキットが使用されたこのトライアルからも明らかなように、AI-RAN でホスト可能な通信事業者向けの新しい AI アプリケーションの作成にも貢献しています。これには、生成 AI 向けの NIM マイクロサービス、RAG、VLM、ロボティクス トレーニング用の NVIDIA Isaac、NVIDIA NeMo、RAPIDS、推論用の NVIDIA Triton、AI ブローカー用サーバーレス API が含まれます。
通信業界は、AI サービス プロバイダーになる大きなチャンスの最前線に立っています。 AI-RAN は、ワイヤレス ネットワークの新しい基盤としてアクセラレーテッド コンピューティングを使用することで、世界中の通信会社にとってこの新しい変革を促進できます。
この発表は、AI-RAN テクノロジの画期的な瞬間であり、その実現性、キャリアグレードのパフォーマンス、優れたエネルギー効率、経済的な価値を証明しました。 NVIDIA の高速化された AI-RAN インフラストラクチャに投資された資本支出 1 ドルは、6G に対応しながら、5 倍の収益を生み出します。
AI 収益化への取り組みは、今すぐ始められます。
関連情報
GTC セッション:
通信会社が国家 AI インフラストラクチャとプラットフォームをどのように実現するか
GTC セッション:
現代の通信会社 Blueprint: AI を使用して変革と再発明
GTC セッション:
人工知能が通信を変革する 3 つの方法
SDK:
Aerial Omniverse デジタル ツイン
ウェビナー:
How Telcos Transform Customer Experiences with Conversational AI
ウェビナー:
多言語音声 AI カスタマイズされたエージェントアシストで通信会社 コンタクト センター エージェントの強化


Developing a 172B LLM with Strong Japanese Capabilities Using NVIDIA Megatron-LM

Generative AI has the ability to create entirely new content that traditional machine learning (ML) methods struggle to produce. In the field of natural language processing (NLP), the advent of
large language models (LLMs)
specifically has led to many innovative and creative AI use cases. These include customer support chatbots, voice assistants, text summarization and translation, and more—tasks previously handled by humans.
LLMs continue to evolve through various approaches, including increasing the number of parameters and the adoption of new algorithms like Mixture of Experts (MoE). The application and adaptation of LLMs are anticipated across many industries, including retail, manufacturing, and finance.
However, many models that currently top the LLM leaderboard show insufficient understanding and performance in non-English languages, including Japanese. One of the reasons for this is that the training corpus contains a high proportion of English data. For example,
only 0.11% of the GPT-3 corpus is Japanese data
. Creating LLM models that perform well in Japanese, which has less training data than English, has been immensely challenging.
This post presents insights gained from training an AI model with 172 billion parameters as part of the
Generative AI Accelerator Challenge (GENIAC)
project, using
NVIDIA Megatron-LM
to help address the shortage of high-performance models for Japanese language understanding.
LLM-jp initiatives at GENIAC
The
Ministry of Economy, Trade and Industry (METI)
launched GENIAC to raise the level of platform model development capability in Japan and to encourage companies and others to be creative. GENIAC has provided computational resources, supported matching with companies and data holders, fostered collaboration with global technology companies, held community events, and evaluated the performance of the developed platform models.
The
LLM-jp
project to develop a completely
open model with 172 billion parameters
(available on Hugging Face) with strong Japanese language capabilities was selected for the GENIAC initiative. LLM-jp 172B was the largest model development in Japan at that time (February to August 2024), and it was meaningful to share the knowledge of its development widely.
LLM-jp is an initiative launched by researchers in the field of natural language processing and computer systems, mainly at NII, to accumulate know-how on the mathematical elucidation of training principles, such as how large-scale models acquire generalization performance and the efficiency of learning, through the continuous development of models that are completely open and commercially available. The objective is to accumulate know-how on the efficiency of training.
Training the model using NVIDIA Megatron-LM
Megatron-LM
serves as a lightweight research-oriented framework leveraging
Megatron-Core
for training LLMs at unparalleled speed. Megatron-Core, the main component, is an open-source library that contains GPU-optimized techniques and cutting-edge system-level optimizations essential for large-scale training.
Megatron-Core supports various advanced model parallelism techniques, including tensor, sequence, pipeline, context, and MoE expert parallelism. This library offers
customizable building blocks
, training resiliency features such as
fast distributed checkpointing
, and many other innovations such as
Mamba-based hybrid model training
. It’s compatible with all NVIDIA Tensor Core GPUs, and includes support for
Transformer Engine (TE)
with FP8 precision introduced with
NVIDIA Hopper architecture
.
Model architecture and training settings
Table 1 provides an overview of the model architecture for this project, which follows
Llama 2 architecture
.
Parameter
Value
Hidden size
12288
FFN intermediate size
38464
Number of layers
96
Number of attention heads
96
Number of query groups
16
Activation function
SwiGLU
Position embedding
RoPE
Normalization
RMSNorm
Table 1. Overview of LLM-jp 172B model architecture
The LLM-jp 172B model is being trained from scratch using 2.1 trillion tokens of a multilingual corpus developed for the project consisting mainly of Japanese and English. The training is performed using NVIDIA H100 Tensor Core GPUs on Google Cloud A3 Instance with FP8 hybrid training using the Transformer Engine. Megatron-Core v0.6 and Transformer Engine v1.4 are used in the experiment.
Table 2 shows hyperparameter settings for training.
Parameter
Value
LR
1E-4
min LR
1E-5
LR WARMUP iters
2000
Weight decay
0.1
Grad clip
1.0
Global batch size
1728
Context length
4096
Table 2. Hyperparameters used for the model training
In addition, z-loss and batch-skipping techniques, which are used in
PaLM
, are incorporated to stabilize the training process, and flash attention is used to further speed up the training process.
To view other training configurations, please see
llm-jp/Megatron-LM
.
Training throughput and results
Pretraining for the latest LLM-jp 172B model is currently underway, with periodic evaluations every few thousand iterations to monitor training progress and ensure successful accuracy results on Japanese and English downstream tasks (Figure 1). So far, over 80% is complete, of the targeted 2.1 trillion tokens.
Figure 1. Training loss curves for pretraining with 1.7 trillion tokens using Megatron FP8 hybrid training
Notably, there is a sharp increase in TFLOP/s after approximately 7,000 iterations, corresponding to the transition from BF16 to FP8-hybrid precision. In this experiment, BF16 plus TE was used for training before 7,000 iterations, and FP8 hybrid plus TE was used after 7,000 iterations. In Megatron-LM, it is possible to enable hybrid FP8 training with the simple option
--fp8-format
‘
hybrid
‘. Note that this feature is experimental, with further optimizations coming soon.
Figure 2. Training throughput (TFLOP/s) when TE is used with BF16 and FP8 hybrid
The reason we started the training with BF16 plus TE and then switched to FP8 hybrid was not only to see the tokens/sec performance difference between BF16 and FP8, but also to make the initial training more stable. In the early stages of training, the learning rate (LR) increases due to the warm-up, leading to unstable training.
We chose to perform the initial training with BF16, and after confirming that there were no problems with the values of training loss, optimizer states, gradient norm, and so on, we switched to FP8 to speed up the training process. FP8 hybrid has improved the training speed. We observed a training speed of 545-553 TFLOP/s with Megatron-LM.
Figure 3. Weak scaling performance based on the results of the main and preliminary experiments of the LLM-jp 172B model training
Conclusion
As mentioned above, the training of LLM-jp 172B  is still ongoing using Megatron-LM. Based on the evaluation results of downstream tasks using the current checkpoint data, we suppose that the model has already acquired excellent Japanese language capabilities, but the complete model is expected to be ready early next year.Training time is often a significant challenge in pretraining LLMs, where vast datasets are required.Therefore, efficient training frameworks like Megatron-LM are crucial for accelerating Generative AI research and development.　For the 172B model trained with
Megatron-LM
, we explored FP8-hybrid training as a potential method for improving training speed, achieving a 1.4x training speed acceleration from 400 TFLOP/s to 550 TFLOP/s. We observed a performance acceleration from 400 TFLOP/s to 550 TFLOP/s, suggesting that FP8-hybrid could be a valuable approach for enhancing the efficiency of large-scale model pretraining.

Megatron-LM を用いた日本語に強い 172B 大規模言語モデルの開発

Reading Time:
2
minutes
生成 AI は、その卓越した能力のおかげで、従来の機械学習手法ではできなかったタスクを実行し、注目を集めています。例えば、自然言語処理の分野では、
大規模言語モデル (LLM)
が登場したことで、チャットボットによるカスタマー サポートや会議内容の要約など、これまで人間が担っていた役割を AI が代わりに行うなど多くの革新的で創造的なユース ケースが生まれています。
LLM は、パラメーター数の増加や MoE (Mixture of Experts) のような新しいアルゴリズムの採用など、様々なアプローチを通じて進化し続けており、小売業、製造業、金融業など、さまざまな業界への応用と適用が期待されています。
しかし、現在 LLM リーダーボードの上位モデルの多くは、英語に比べて日本語の理解度やパフォーマンスが低い傾向にあります。その理由の一つは、学習コーパスの英語データの割合が大きいことです。例えば、
GPT-3 の場合、日本語データはコーパスの 0.11% しかありません
。日本の生成 AI の発展のためには、非常に困難ですが英語よりも学習データの少ない日本語で優れた性能を発揮する LLM モデルを作成することが、乗り越えるべき重要な課題です。
本稿では、
GENIAC (Generative AI Accelerator Challenge)
プロジェクトの一環として取り組んだ、Megatron-LM を用いた 172B 大規模言語モデルの学習から得られた知見を紹介し、データ不足の問題を乗り越えて日本語理解能力の高いモデル作成に取り組んだ際の洞察について紹介します。
GENIAC における LLM-jp の取り組み
上記で述べたような課題を解決するために、経済産業省は、日本国内のプラットフォーム モデル開発力の向上と企業等の創意工夫を奨励するため、「
Generative AI Accelerator Challenge (GENIAC)
」を立ち上げました。GENIAC では、計算資源の提供、企業とデータ保有者とのマッチング支援、グローバルテック企業との連携促進、コミュニティ イベントの開催、開発されたプラットフォーム モデルの性能評価などを現在も継続して行っています。
この取り組みに、
LLM-jp
の日本語対応力に優れた
完全オープンな 172B モデル
の開発というテーマが選ばれました。172B は当時 (2024 年 2 月から 8 月) 日本国内で最大規模のモデル開発であり、その開発ノウハウを広く共有することは非常に有意義なことでした。
LLM-jp は、
NII (国立情報学研究所)
を中心とした自然言語処理や計算機システム分野の研究者が中心となって立ち上げた取り組みで、大規模モデルが汎化性能を獲得する仕組みや学習の効率性といった学習原理の数学的解明に関するノウハウを、完全にオープンで商用利用可能なモデルの継続的な開発を通じて蓄積する事、および学習の効率性に関するノウハウを蓄積することを目的としています。
NVIDIA Megatron-LM
Megatron-LM
は、
Megatron-Core
を活用して大規模言語モデル (LLM) を比類のない速度で学習する軽量な研究指向フレームワークとして機能します。主要コンポーネントである Megatron-Core は、大規模な学習に不可欠な GPU 最適化技術と最先端のシステム レベルの最適化を含むライブラリです。
Megatron-Core は、テンソル、シーケンス、パイプライン、コンテキスト、MoE エキスパート並列処理など、さまざまな高度なモデル並列処理手法をサポートしています。このライブラリは、
カスタマイズ可能なビルディング ブロック
、
高速分散チェックポイント
などの学習回復力機能、
Mamba ベースのハイブリッド モデル学習
などの他の多くのイノベーションを提供します。すべての NVIDIA Tensor コア GPU と互換性があり、
NVIDIA Hopper アーキテクチャ
で導入された FP8 精度の Transformer Engine テクノロジのサポートが含まれています。
上記のような最先端の機能を提供することで、Megatron-LM は、研究者やモデル開発者が 1,000 億のパラメーターを超えるモデルでも、高速な学習と数千の GPU スケールへのスケーラビリティを実現できるようにします。
モデル アーキテクチャと学習設定
以下は、
Meta の Llama2
アーキテクチャに準拠したこのプロジェクトのモデル アーキテクチャの概要です。
パラメーター
値
Hidden size
12288
FFN Intermediate size
38464
Number of layers
96
Number of attention heads
96
Number of query groups
16
Activation function
SwiGLU
Position embedding
RoPE
Normalization
RMSNorm
表 1. LLM-jp 172B モデルアーキテクチャ概要
この 172B モデルは、プロジェクト用に開発された多言語コーパス (主に日本語と英語) の 2.1T トークン (2.1 兆トークン) を使用してゼロから学習されています。学習は、Transformer Engine を使用した FP8 ハイブリッド学習で、Google Cloud の A3 インスタンス上の H100 Tensor コア GPU を使用して実行されています。実験では、
Megatron-Core
v0.6 と
Transformer Engine
v1.4 が使用されています。
学習のハイパーパラメーター設定は次のとおりです。
パラメーター
値
LR
1E-4
min LR
1E-5
LR WARMUP iters
2000
Weight Decay
0.1
Grad Clip
1.0
global batch size
1728
context length
4096
表 2. この実験で使用したハイパーパラメーターの概要
詳細な設定に興味のある方は、他の学習設定も
llm-jp/Megatron-LM
でご覧いただけます。
また、
PaLM
で採用されている　z-loss や batch-skipping テクニックを取り入れることで学習プロセスを安定化させ、flash attention を利用することで学習プロセスをさらに高速化させています。
学習結果とスループット
LLM-jp 172B モデルの事前学習は、数千イテレーションごとに、日本語と英語の下流タスクの評価結果をモニターし、学習がうまく進んでいるかどうかを確認しながら現在も進行中です。これまでのところ、目標とする 2 兆 1,000 億トークンの 80% 強まで完了しています。
Megatron の FP8 ハイブリッド学習を用いた 1.7 兆トークンの事前学習における学習損失曲線を以下に示します。この曲線は、240,000 ステップまで損失が着実に減少していることを示しています。
図 1. 240k ステップまでの学習ロス
以下のグラフは、Y 軸は TFLOP/s、X 軸はイテレーション回数を示しています。注目すべきは、学習を BF16 から FP8 ハイブリッドへ切り替えた約 7,000 回のイテレーションのタイミングで、TFLOP/s が急激に増加していることです。この実験では、BF16 + Transformer Engine が 7,000 回以前の学習に使用され、FP8 ハイブリッド + Transformer Engine が 7000 回以降の学習に使用されました。Megatron-LM では、単純なオプション
--fp8-format
‘
hybrid
‘ で FP8 ハイブリッド学習を有効にすることができます。
図 2. Transformer Engine を BF16 と FP8 のハイブリッドで使用した場合の学習スループット (TFLOP/s)
BF16 + Transformer Engine で学習を開始し、その後 FP8 ハイブリッドに切り替えた理由は、BF16 と FP8 でどの程度の tokens/sec の性能差があるかを見るためだけでなく、初期学習をより安定させるためでもあります。学習の初期段階では、ウォームアップにより学習率 (LR) が上昇し、学習が不安定になります。そこで、初期学習は BF16 で行い、学習損失の値、オプティマイザーの状態、勾配ノルムなどに問題がないことを確認した後、FP8 に切り替えて学習を高速化することにしました。FP8 ハイブリッドにより学習速度が向上していることが分かります。
私たちは、最終的に Megatron-LM を用いて 545-553TFLOP/s の性能を達成できることを確認しました。以下は、LLM-jp 172B モデル学習の本実験と予備実験の結果に基づく、弱スケーリング性能のグラフです。このグラフでは、Y 軸が Aggregate Throughput を表し、X 軸が学習に使用した GPU の数を表しています。Llama2 7B、Llama2 13B、LLM-jp 172B の学習結果は、線形スケーリングを示していることが分かります。
図 3. LLM-jp 172B モデル実験の弱スケーリング性能
まとめ
前述の通り、LLM-jp 172B の学習は現在も Megatron-LM を用いて進行中です。現在のチェックポイント データを用いた下流タスクの評価結果から、現状でも既に優れた日本語能力を獲得していると推察されますが、完全なモデルは来年の初めに完成予定です。
膨大なデータセットを必要とする大規模言語モデルの事前学習において、学習時間はしばしば大きな課題となります。そのため、Megatron-LM のような効率的に学習可能なフレームワークは、生成 AI の研究開発を加速させる為に非常に重要です。
Megatron-LM
で学習した 172B モデルにおいて、FP8-hybrid 学習が学習速度を向上させる効果的な手法であることを実証し、1.4 倍の高速化 (400 TFLOP/s → 550 TFLOP/s) を達成しました。この結果は、FP8-hybrid が大規模モデルの事前学習の効率を向上させる有用なアプローチであることを強調しています。


5x Faster Time to First Token with NVIDIA TensorRT-LLM KV Cache Early Reuse

In our previous
blog post
, we demonstrated how reusing the key-value (KV) cache by offloading it to CPU memory can accelerate time to first token (TTFT) by up to 14x on x86-based NVIDIA H100 Tensor Core GPUs and 28x on the NVIDIA GH200 Superchip. In this post, we shed light on KV cache reuse techniques and best practices that can drive even further TTFT speedups.
Introduction to KV cache
LLM models are rapidly being adopted for many tasks, including question-answering, and code generation. To generate a response, these models begin by converting the user’s prompt into tokens, which are then transformed into dense vectors. Extensive dot-product operations follow to mathematically model the relationships between the tokens and build a contextual understanding of the user input. The computational cost of generating this contextual understanding increases quadratically with the length of the input sequence.
This resource-intensive process generates keys and values, which are cached to avoid recomputation when generating subsequent tokens. Reusing the KV cache reduces the computational load and time needed to generate additional tokens—leading to a faster and more efficient user experience.
When reusing the KV cache, careful attention must be given to how long it remains in memory, which components to evict first when memory is full, and when it can be reused for new incoming prompts. Optimizing these factors can lead to incremental performance improvements in KV cache reuse. NVIDIA TensorRT-LLM offers three key features that specifically address these areas.
Early KV cache reuse
Traditional reuse algorithms require the entire KV cache computation to be completed before any portions of it can be reused with new user prompts. In scenarios such as enterprise chatbots, where system prompts—predefined instructions added to user queries—are essential to direct the LLM’s responses in line with enterprise guidelines, this method can be inefficient.
When a surge of users interacts with the chatbot simultaneously, each user would require a separate computation of the system prompt KV cache. With TensorRT-LLM, we can instead reuse the system prompt as it is being generated in real time, enabling it to be shared across all users during the burst, rather than recalculating it for each user. This can significantly accelerate inference for use cases requiring system prompts by up to 5x.
Figure 1. TensorRT-LLM KV cache reuse can speed up TTFT by up to 5x
Flexible KV cache block sizing
In reuse implementations, only entire cache memory blocks can be allocated for reuse. For example, if the cache memory block size is 64 tokens and KV cache is 80 tokens, only 64 tokens will be stored for reuse, while the remaining 16 tokens will need to be recomputed. However, if the memory block size is reduced to 16 tokens, all 64 tokens can be stored across five memory blocks, eliminating the need for re-computation.
This effect is most pronounced when the input sequences are short. For long input sequences, larger blocks can be more beneficial.  As is clear, the more granular the control you have over the KV cache, the better you can optimize it for your specific use case.
TensorRT-LLM provides fine-grained control over KV cache memory blocks, giving developers the ability to chop them into smaller blocks between 64 to 2 tokens. This optimizes the usage of allocated memory, increases reuse rates, and improves TTFT. When running LLAMA70B on NVIDIA H100 Tensor Core GPUs, we can speed up TTFT up to 7% in multi-user environments by reducing KV cache block size from 64 tokens to 8 tokens.
Figure 2. Impact of changing KV cache block size on inference speedup
Efficient KV cache eviction protocols
Partitioning the KV cache into smaller blocks and evicting unused ones can be effective for memory optimization, but it introduces dependency complexities. When a specific block is used to generate a response, and the result is stored as a new block, it can form a tree-like structure of dependencies.
Over time, the counters tracking the usage of the source blocks (the branches) may become stale as the dependent nodes (the leaves) are reused. Evicting the source block then requires the eviction of all dependent blocks, which would require recalculation of the KV cache for new user prompts, increasing TTFT.
To address this challenge, TensorRT-LLM includes intelligent eviction algorithms that can trace the dependent nodes from their source nodes and evict dependent nodes first, even if they have more recent reuse counters. This ensures more efficient memory management while preventing unnecessary evictions of dependent blocks.
Figure 3. A logical representation of KV cache eviction algorithm show how it can reduce the number of evicted blocks, increasing the likelihood of reuse
Getting started with TensorRT-LLM KV cache reuse
Generating KV cache during inference requires a lot of compute and memory resources. Using it efficiently is critical to improving model response, accelerating inference, and increasing system throughput. TensorRT-LLM provides advanced reuse features for developers looking to further optimize TTFT response times for peak performance.
To start using TensorRT-LLM KV cache reuse check out our
GitHub documentation
.

NVIDIA TensorRT-LLM の KV Cache Early Reuseで、Time to First Token を 5 倍高速化

Reading Time:
2
minutes
以前の
ブログ記事
では、key-value (KV) キャッシュを CPU メモリにオフロードして再利用することで、最初のトークンが出力されるまでの時間 (TTFT: Time To First Token) を x86 ベースの NVIDIA H100 Tensor コア GPU で最大 14 倍、NVIDIA GH200 Superchip で最大 28 倍に高速化できる方法をご紹介しました。本記事では、KV キャッシュの再利用技術と、TTFT のさらなる高速化を実現するベストプラクティスについて解説します。
KV キャッシュの概要
LLM モデルは、質問回答やコード生成など、多くのタスクで急速に採用されています。応答を生成するにあたり、これらのモデルはまず、ユーザーのプロンプトをトークンへ変換し、その後これらのトークンを密ベクトルへと変換します。膨大なドット積演算がその後に続き、その後トークン間の関係性を数学的にモデル化し、ユーザー入力に対する文脈理解を構築します。この文脈理解を生成するためにかかる計算コストは、入力シーケンスの長さの二乗に比例して増加します。
このリソースを大量に消費するプロセスから key とvalue が生成され、後続のトークンを生成するときに再度計算されないようにキャッシュされます。KV キャッシュを再利用することで、追加のトークンを生成する際に必要となる計算負荷と時間が軽減され、より高速で効率的なユーザー体験を実現します。
KV キャッシュを再利用するときには、キャッシュがメモリに残る期間、メモリが一杯になったときに最初に削除するコンポーネント、および新しい入力プロンプトに再利用できるタイミングなどの点に細心の注意を払う必要があります。これらの要因を最適化することで、KV キャッシュの再利用におけるパフォーマンスの段階的な増加へとつなげることができます。NVIDIA TensorRT-LLM は、これらの分野に特化した 3 つの主要な機能を提供します。
Early KV cache reuse
従来の再利用アルゴリズムでは、KV キャッシュをその一部であっても新しいユーザー プロンプトで再利用するためには、事前にすべての KV キャッシュの計算を完了させておく必要がありました。この方法は、LLM のレスポンスを企業のガイドラインに沿ったものにするために、システム プロンプト (ユーザーの問い合わせに追加される事前定義の指示) が不可欠となる企業向けチャットボットなどのシナリオでは、非効率的である可能性があります。
チャットボットと同時にやり取りするユーザーが急増した場合、各ユーザーに対してシステム プロンプト KV キャッシュを個別に計算する必要があります。TensorRT-LLM では、リアルタイムで生成されるシステム プロンプトを再利用することができるため、急増時にはすべてのユーザーと共有することができ、ユーザーごとに再計算する必要がありません。これにより、システム プロンプトを必要とするユース ケースの推論を最大 5 倍にまで高速化することができます。
図 1. TensorRT-LLM KV cache reuse により、TTFT を最大 5 倍高速化
柔軟な KV キャッシュ ブロック サイズ
再利用を実装する際には、キャッシュ メモリ ブロック全体のみを再利用に割り当てることができます。例えば、キャッシュ メモリ ブロック サイズが 64 トークンで、KV キャッシュが 80 トークンである場合、再利用のために保存できるのは 64 トークンのみであり、残りの 16 トークンは再計算する必要があります。しかしながら、メモリ ブロック サイズを 16 トークンに減らすと、64 トークンすべてを 5 つのメモリ ブロックに格納することができ、再計算の必要性がなくなります。
この効果は、入力シーケンスが短いときに最も顕著に現れます。長い入力シーケンスの場合は、より大きなブロックの方がより有益です。明らかに、KV キャッシュをより細かく制御できればできるほど、特定のユース ケースに合わせた最適化も向上します。
TensorRT-LLM では、KV キャッシュ メモリ ブロックをきめ細かく制御できるため、開発者は KV キャッシュ メモリ ブロックを 64 から 2 トークンまで、より小さなブロックに分割することができます。これにより、割り当てられたメモリの使用が最適化され、再利用率が上昇し、TTFT が改善されます。NVIDIA H100 Tensor コア GPU で LLAMA70B を実行する場合、KV キャッシュ ブロックサイズを 64 トークンから 8 トークンへと減らすことで、マルチユーザー環境で TTFT を最大 7% 高速化できます。
図 2. KV キャッシュ ブロック サイズの変更による推論の高速化
効率的な KV キャッシュの除外 (Eviction) プロトコル
KV キャッシュをより小さなブロックに分割し、未使用のブロックを除外することは、メモリの最適化に効果的ですが、依存関係に複雑さが生まれます。特定のブロックがレスポンスの生成に使用され、その結果が新しいブロックとして保存されると、依存関係のツリー構造が形成される可能性があります。
時間の経過とともに、ソース ブロック (ブランチ) の使用を追跡するカウンターは、従属ノード (リーフ) が再利用されるにつれて古くなる可能性があります。ソース ブロックを除外するには、従属するすべてのブロックを除外する必要があり、新しいユーザ プロンプトの KV キャッシュを再計算する必要が生じて TTFT が増加します。
この課題に対処するために、TensorRT-LLM には、従属ノードをソース ノードから追跡し、従属ノードがより最近の再利用カウンターを持っている場合でも、最初に従属ノードを除外することができるインテリジェントな除外アルゴリズムが含まれています。これにより、より効率的にメモリを管理できるようになると共に、従属ブロックの不要な除外を回避できます。
図 3. KV キャッシュの除外アルゴリズムの論理を表現した図。除外されるブロックの数を減らし、再利用の可能性を高められる様子を示しています。
TensorRT-LLM KV cache reuse を使い始める
推論中に KV キャッシュを生成するには、多くの計算とメモリ ソースが必要になります。効率的に使用することが、モデル応答の改善、推論の高速化、システム スループットの向上には不可欠です。TensorRT-LLM は、ピーク性能のために TTFT 応答時間をさらに最適化しようとする開発者に高度な再利用機能を提供します。
TensorRT-LLM KV cache reuse を使い始めるには、
GitHub のドキュメント
を参照してください。
関連情報
GTC セッション:
Speeding up LLM Inference With TensorRT-LLM (TensorRT-LLM による LLM 推論の高速化)
GTC セッション:
Optimizing and Scaling LLMs With TensorRT-LLM for Text Generation (テキスト生成のための TensorRT-LLM を使用した LLM の最適化とスケーリング)
SDK:
Torch-TensorRT
SDK:
TensorRT
SDK:
TensorFlow-TensorRT


State-of-the-Art Multimodal Generative AI Model Development with NVIDIA NeMo

Generative AI
has rapidly evolved from text-based models to multimodal capabilities. These models perform tasks like image captioning and visual question answering, reflecting a shift toward more human-like AI. The community is now expanding from text and images to video, opening new possibilities across industries.
Video AI models are poised to revolutionize industries such as robotics, automotive, and retail. In
robotics
, they enhance autonomous navigation in complex, ever-changing environments, which is vital for sectors like manufacturing and warehouse management. In the automotive industry, video AI is propelling autonomous driving, boosting vehicle perception, safety, and predictive maintenance to improve efficiency.
To build image and video foundation models, developers must curate and preprocess a large amount of training data, tokenize the resulting high-quality data at high fidelity, train or customize pretrained models efficiently and at scale, and then generate high-quality images and videos during inference.
Announcing NVIDIA NeMo for multimodal generative AI
NVIDIA NeMo
is an end-to-end platform for developing, customizing, and deploying generative AI models.
NVIDIA just announced the expansion of NeMo to support the end-to-end pipeline for developing multimodal models. NeMo enables you to easily curate high-quality visual data, accelerate
training
and
customization
with highly efficient tokenizers and parallelism techniques, and reconstruct high-quality visuals during inference.
Accelerated video and image data curation
High-quality training data ensures high-accuracy results from an AI model. However, developers face various challenges in building data processing pipelines, ranging from scaling to data orchestration.
NeMo Curator
streamlines the data curation process, making it easier and faster for you to build multimodal generative AI models. Its out-of-the-box experience minimizes the total cost of ownership (TCO) and accelerates time-to-market.
While working with visuals, organizations can easily reach petabyte-scale data processing. NeMo Curator provides an orchestration pipeline that can load balance on multiple GPUs at each stage of the data curation. As a result, you can reduce video processing time by 7x compared to a naive GPU-based implementation. The scalable pipelines can efficiently process over 100 PB of data, ensuring the seamless handling of large datasets.
Figure 1. NVIDIA NeMo Curator video processing speed
NeMo Curator provides reference video curation models optimized for high-throughput filtering, captioning, and embedding stages to enhance dataset quality, empowering you to create more accurate AI models.
For instance, NeMo Curator uses an optimized captioning model that delivers an order of magnitude throughput improvement compared to unoptimized inference model implementations.
NVIDIA Cosmos tokenizers
Tokenizers map redundant and implicit visual data into compact and semantic tokens, enabling efficient training of large-scale generative models and democratizing their inference on limited computational resources.
Today’s open video and image tokenizers often generate poor data representations, leading to lossy reconstructions, distorted images, and temporally unstable videos and placing a cap on the capability of generative models built on top of the tokenizers. Inefficient tokenization processes also result in slow encoding and decoding and longer training and inference times, negatively impacting both developer productivity and the user experience.
NVIDIA Cosmos tokenizers are open models that offer superior visual tokenization with exceptionally large compression rates and cutting-edge reconstruction quality across diverse image and video categories.
Video 1. Efficient Generative AI Tokenizers for Image and Video
These tokenizers provide ease of use through a suite of tokenizer standardized models that support vision-language models (VLMs) with discrete latent codes, diffusion models with continuous latent embeddings, and various aspect ratios and resolutions, enabling the efficient management of large-resolution images and videos. This provides you with tools for tokenizing a wide variety of visual input data to build image and video AI models.
Cosmos tokenizer architecture
A Cosmos tokenizer uses a sophisticated encoder-decoder structure designed for high efficiency and effective learning. At its core, it employs 3D
causal convolution blocks
, which are specialized layers that jointly process spatiotemporal information, and uses causal temporal attention that captures long-range dependencies in data.
The causal structure ensures that the model uses only past and present frames when performing tokenization, avoiding future frames. This is crucial for aligning with the causal nature of many real-world systems, such as those in physical AI or multimodal LLMs.
Figure 2. NVIDIA Cosmos tokenizer architecture
The input is downsampled using 3D wavelets, a signal processing technique that represents pixel information more efficiently. After the data is processed, an inverse wavelet transform reconstructs the original input.
This approach improves learning efficiency, enabling the tokenizer encoder-decoder learnable modules to focus on meaningful features rather than redundant pixel details. The combination of such techniques and its unique training recipe makes the Cosmos tokenizers a cutting-edge architecture for efficient and powerful tokenization.
During inference, the Cosmos tokenizers significantly reduce the cost of running the model by delivering up to 12x faster reconstruction compared to leading open-weight tokenizers (Figure 3).
Figure 3. Quantitative comparison of reconstruction quality (left) and runtime performance (right) for video tokenizers
The Cosmos tokenizers also produce high-fidelity images and videos while compressing more than other tokenizers, demonstrating an unprecedented quality-compression trade-off.
Figure 4. Continuous tokenizer compression rate compared to reconstruction quality
Figure 5. Discrete tokenizer compression rate compared to reconstruction quality
Although the Cosmos tokenizer regenerates from highly compressed tokens, it is capable of creating high-quality images and videos due to an innovative neural network training technique and architecture.
Figure 6. Reconstructed video frame for continuous video tokenizers
Build Your Own Multimodal Models with NeMo
The expansion of the NVIDIA NeMo platform with at-scale data processing using
NeMo Curator
and high-quality tokenization and visual reconstruction using the Cosmos tokenizer empowers you to build state-of-the-art multimodal, generative AI models.
Join the waitlist
and be notified when NeMo Curator is available. The tokenizer is available now on the
/NVIDIA/cosmos-tokenizer
GitHub repo and
Hugging Face
.

NVIDIA NeMo による最先端のマルチモーダル生成 AI モデル開発

Reading Time:
2
minutes
生成 AI
は、テキストベースのモデルからマルチモーダル機能へと急速に進化しています。これらのモデルは、画像のキャプション作成や視覚的な質問回答などのタスクを実行し、より人間に近い AI へとシフトしていることを反映しています。このコミュニティは現在、テキストや画像から動画へと拡大しており、さまざまな業界で新たな可能性を切り開かれています。
動画 AI モデルは、ロボティクス、自動車、小売などの業界に革命を起こそうとしています。
ロボティクス
では、製造業や倉庫管理などの分野に不可欠な、複雑で変化し続ける環境における自律的なナビゲーションを強化しています。自動車業界では、動画 AI が自動運転を推進し、車両の認識、安全性、予知保全を強化し、効率性を高めています。
画像や動画の基盤モデルを構築するには、開発者は大量の学習データのキュレーションと事前処理を行い、結果として得られた高品質データを高い忠実度でトークン化し、学習済みモデルを効率的に大規模に学習またはカスタマイズして、推論中に高品質な画像や動画を生成する必要があります。
マルチモーダル生成 AI 向けの NVIDIA NeMo を発表
NVIDIA NeMo
は、生成 AI モデルを開発、カスタマイズ、デプロイするエンドツーエンドのプラットフォームです。
NVIDIA は、マルチモーダル モデル開発向けのエンドツーエンドのパイプラインをサポートする NeMo の拡張を発表しました。NeMo により、高品質な視覚データを簡単にキュレーションし、高効率なトークナイザーと並列処理技術で
学習
と
カスタマイズ
を加速し、推論中に高品質なビジュアルを再構築することができます。
動画と画像データのキュレーションを加速
高品質な学習データでは、AI モデルから高精度な結果が得られます。しかし、開発者は、データ処理パイプラインの構築において、スケーリングからデータのオーケストレーションまで、さまざまな課題に直面しています。
NeMo Curator
は、データ キュレーション プロセスを合理化することで、マルチモーダル生成 AI モデルをより簡単かつ迅速に構築することができます。すぐに試すことができるため、総保有コスト (TCO) を最小限に抑え、市場投入までの時間を短縮します。
ビジュアルを扱う際には、組織はペタバイト規模のデータ処理を容易に実行できます。NeMo Curator は、データ キュレーションの各段階で複数の GPU に負荷分散できるオーケストレーション パイプラインを提供します。その結果、単純な GPU ベースの実装と比較して、動画処理時間を 7 分の 1 に短縮できます。スケール可能なパイプラインは、100 PB を超えるデータを効率的に処理でき、大規模なデータセットをシームレスに取り扱うことができます。
図 1. NVIDIA NeMo Curator の動画処理速度
NeMo Curator は、高いスループットのフィルタリング、キャプション作成、埋め込みの各段階に最適化されたリファレンス ビデオ キュレーション モデルを提供し、データセットの品質を向上させ、より正確な AI モデルの作成をサポートします。
たとえば、NeMo Curator は、最適化されたキャプション モデルを使用し、最適化されていない推論モデルの実装と比較して、桁違いのスループットの向上を実現します。
NVIDIA Cosmos トークナイザー
トークナイザーは、冗長的で暗黙的な視覚データをコンパクトで意味のあるトークンにマッピングし、大規模な生成モデルの効率的な学習を実現し、誰もが限られた計算リソースで推論できるようにします。
今日のオープンな動画や画像のトークナイザーは、データ表現が不十分なことが多いため、劣化の多い再構築、歪んだ画像、不連続な動画につながり、トークナイザー上に構築された生成モデルの能力に限界をもたらします。トークン化プロセスが非効率なため、エンコードやデコードに時間がかかり、学習や推論の時間が長くなり、開発者の生産性とユーザー体験の両方に悪影響を及ぼします。
NVIDIA Cosmos トークナイザーは、優れた視覚トークン化を提供するオープンなモデルで、さまざまな画像や動画のカテゴリーで、高い圧縮率と最先端の再構築品質を実現します。
離散的な潜在コードを備えた視覚言語モデル (VLM: Vision-language Model)、連続した潜在的埋め込みによる拡散モデル、さまざまなアスペクト比や解像度をサポートする一連のトークナイザー標準化モデルを使用して、これらのトークナイザーを簡単に使用でき、高解像度の画像や動画を効率的に管理することができます。これにより、画像や動画 AI モデルを構築するために、幅広い視覚入力データをトークン化するツールが提供されます。
Cosmos トークナイザーのアーキテクチャ
Cosmos トークナイザーは、高効率かつ効果的な学習向けに設計されており、高度なエンコーダー / デコーダー構造を使用しています。その中核には 3D
Causal Convolution Block
(因果畳み込みブロック) を採用しています。これは時空間情報を共同処理する特殊なレイヤーで、データの長期的な依存関係を捉える Causal Temporal Attention (因果的時間注意機構) を使用しています。
この因果構造により、トークン化の実行時にモデルが過去と現在のフレームのみを使用し、未来のフレームは使用しません。これは、物理的なAIやマルチモーダルLLMなどの多くの現実世界のシステムの因果性に合わせるために重要です。
図 2. NVIDIA Cosmos トークナイザーのアーキテクチャ
入力は、ピクセル情報をより効率的に表す信号処理技術である 3D ウェーブレットを使用してダウンサンプリングされます。データ処理後、逆ウェーベレット変換によって元の入力が再構築されます。
このアプローチにより、学習効率が向上し、トークナイザーのエンコーダー / デコーダーの学習可能なモジュールは、冗長なピクセルの詳細ではなく、意味のある特徴に焦点を当てることができます。このような技術と独自の学習レシピの組み合わせにより、Cosmos トークナイザーは、効率的かつ強力なトークン化を実現する最先端のアーキテクチャとなっています。
推論の際、Cosmos トークナイザーは、主要なオープンウェイトのトークナイザーと比較して最大 12 倍高速な再構築を実現し、モデルの実行コストを大幅に削減しました (図 3)。
図 3. Cosmos トークナイザーと主要なオープンウェイトのトークナイザーとの比較
Cosmos トークナイザーは、他のトークナイザーよりも高い圧縮率を実現しながら、高い忠実度の画像や動画を生成し、前例のない品質と圧縮のトレードオフを実現しています。
図 4. 連続トークナイザーの圧縮率と再構築品質の比較
図 5. 離散トークナイザーの圧縮率と再構築品質の比較
Cosmos トークナイザーは、高度に圧縮されたトークンから再生成されますが、革新的なニューラル ネットワークの学習技術とアーキテクチャにより、高品質な画像や動画を作成することができます。
図 6. 連続動画トークナイザーで再構築された動画フレーム
NeMo で独自のマルチモーダル モデルを構築
NeMo Curator
を使用した大規模なデータ処理と、Cosmos トークナイザーを使用した高品質なトークン化やビジュアル再構築を備えた、NVIDIA NeMo プラットフォームの拡張により、最先端のマルチモーダル生成 AI モデルを構築することができます。
登録
していただくと、NeMo Curator が利用可能になった際に通知を受け取ることができます。トークナイザーは、現在
/NVIDIA/cosmos-tokenizer
GitHub リポジトリおよび
Hugging Face
で利用することができます。
関連情報
GTC セッション:
Large Language Model Fine-Tuning using Parameter Efficient Fine-Tuning (PEFT を使用した大規模言語モデルのファインチューニング)
GTC セッション:
Large Language Model Fine-Tuning using NVIDIA NeMo (NVIDIA NeMo を使用した大規模言語モデルのファインチューニング – Domino Data Lab 提供)
SDK:
NVIDIA NeMo カスタマイザー
SDK:
NeMo LLM サービス
SDK:
NeMo Megatron


Frictionless Collaboration and Rapid Prototyping in Hybrid Environments with NVIDIA AI Workbench

NVIDIA AI Workbench
is a free development environment manager that streamlines data science, AI, and machine learning (ML) projects on systems of choice. The goal is to provide a frictionless way to create, compute, and collaborate on and across PCs, workstations, data centers, and clouds. The basic user experience is straightforward:
Easy setup on single systems:
Click through install in minutes on Windows, Ubuntu, and macOS, with a one-line install on remote systems.
Managed experience for decentralized deployment
: A free, PaaS/SaaS type UX in truly hybrid contexts with no need for a centralized, service-based platform.
Seamless collaboration for experts and beginners:
Friendly Git, container, and application management without limiting customization by power users.
Consistent across users and systems:
Migrate workloads and applications across different systems while maintaining functionality and user experience.
Simplified GPU handling
: Handles system dependencies like
NVIDIA drivers
and the
NVIDIA Container Toolkit
, as well as
GPU-enabled container
runtime configuration.
This post explores highlights of the October release of NVIDIA AI Workbench, which is the most significant since the product launch at GTC 2024 and is a big step closer to the full product vision.
Release highlights
This section will detail the major new capabilities and user-requested updates in the latest release.
Major new capabilities include:
Enhance collaboration through expanded Git support, such as branching, merging, diffs, and finer-grained control for commits and gitignore.
Create complex applications and workflows with multicontainer environments through Docker Compose support.
Simple, fast, and secure rapid prototyping with application sharing with single-user URLs.
User requested updates:
Dark mode for the Desktop App
Improved installation on localized versions of Windows
Expanded Git support
Previously, AI Workbench supported only single, monolithic commits on the main branch. Users had to manage branches and merges manually, and this created various types of confusion, especially around resolving merge conflicts. Now, users can manage branches, merges, and conflicts directly in the Desktop App and the CLI. In addition, they can see and triage individual file diffs for commits. The UI is built to work seamlessly with manual Git operations and will update to reflect relevant changes.
Figure 1. AI Workbench Desktop App tab for Git branching
These features are found in two new tabs on the Desktop App: Changes and Branches.
Changes
: Gives a line-by-line view of the diffs between the working tree and previous commits. Users can now select and commit file changes individually or in bulk based on visible file diffs tracked changes (addition, modification, or deletion), as well as being able to individually reject or add a file to git-ignore. The view also updates dynamically to reflect manual Git actions, for example manually staging a file and then following up with a change to the file in the working tree.
Branches
: Provides branch management, including creation, switching, and merging, as well as visibility for remote branches on a Git server. Merging branches with a conflict initiates a conflict resolution flow that users can do within the UI, or move to a terminal or file editor of their choice.
Learn more about how these advanced Git features work
.
Multicontainer support with Docker Compose stacks
AI Workbench now supports
Docker Compose
. Users can work with multicontainer applications and workflows with the same ease of configuration, reproducibility, and portability that AI Workbench provides for single-container environments.
Figure 2. The Docker Compose feature in the AI Workbench Environment Management tab
The basic idea is to add a Docker Compose-based “stack” that is managed by AI Workbench and connects to the main development container. To add the stack, a user just needs to add the appropriate Docker Compose file to the project repository and do some configuration in the Desktop App or CLI.
We’re using Docker Compose for a few reasons. First, we didn’t want to develop in a vacuum, and that’s why we’ve been
collaborating with the Docker team
on features like a
managed Docker Desktop install
.
Second, we want users to be able to work with the multicontainer applications outside of AI Workbench, and Docker Compose is the easiest way to do that. The vision for this feature is to enable streamlined, powerful development and compute for multicontainer applications within AI Workbench that can then be stood up outside of AI Workbench with a simple
docker-compose
up command.
This multicontainer feature is new and will continue to evolve. We would love to get feedback and help you sort out any issues through the
NVIDIA AI Workbench Developer Forum
.
Learn more about how Docker Compose works
.
Web application sharing through secure URLs
AI Workbench enables users to easily spin up managed web applications that are built into a project. The process is fairly simple: create or clone a project with the web app installed, start the project, then start the app, and it appears in your browser.
This approach is great for a developer UX, but it wasn’t good for rapid prototyping UX and collaboration. If you wanted another user to access and test your application, you either asked them to install AI Workbench, clone the project and run it, or you had to fully extract the application to run it and make it available to the user. The first is a speed bump for the user, and the second is a speed bump for the developer.
We eliminated these speed bumps with a simple feature that enables you to set a remote AI Workbench to enable external access and to create single-use, secure URLs for running web applications in a project on that remote. You just need to make sure the user has access to port 10000 on the remote, and the application will be directly accessible. All they have to do is click the link and go to the app.
Figure 3. Developers can now give end users direct access to applications running in an AI Workbench Project on a remote through secure, one-time-use URLs
Enabling this kind of access is useful for rapid prototyping and collaboration. That’s why various SaaS offerings provide this as a managed service. The difference with AI Workbench is that you can provide this access on your own resources and in your own network, for example on data center resources or a shared server. It doesn’t have to be in the cloud.
AI Workbench keeps things secure by restricting this access to a single browser and to a single application that’s running in the project. This means a user can’t share the URL with someone else, and they are constrained to the web app that you shared with them.
Learn more about how application sharing works.
Dark mode and localized Windows installation
Many users requested a dark mode option because it’s easier on the eyes. It’s now available and can be selected through the Settings window that is now available directly from within the Desktop App.
Learn more about how dark mode works
.
Windows users are by far our main demographic for the local installs, and not all Windows users are using the English language pack, and this blocked AI Workbench install due to how we handled some WSL commands. In particular, we’ve had users working in Cyrillic or Chinese that were blocked on Windows. We adjusted how we handle non-English language packs, and it should work well now. If you were previously blocked by this, give it a try now. If it still doesn’t work for you, let us know in the
NVIDIA AI Workbench Developer Forum
so we can continue to improve this capability.
New AI Workbench projects
This release introduces new example projects designed to jumpstart your AI development journey, detailed below.  An
AI Workbench project
is a structured Git repository that defines a containerized development environment in AI Workbench. AI Workbench projects provide:
Effortless setup and GPU configuration:
Simply clone a project from GitHub or GitLab, and AI Workbench handles the rest with automatic GPU configuration.
Development integrations:
Seamless support for popular development environments such as Jupyter and VS Code, as well as support for user-configured web applications.
Containerized and customizable environments:
Projects are containerized, isolated, and easily modifiable. Adapt example projects to suit your specific needs while ensuring consistency and reproducibility.
Explore NVIDIA AI Workbench example projects
.
Multimodal virtual assistant
example project
This project enables users to build their own virtual assistant using a multimodal
retrieval-augmented generation (RAG)
pipeline with fallback to web search. Users can interact with two RAG-based applications to learn more about AI Workbench, converse with the user documentation, troubleshoot their own installation, or even focus the RAG pipeline to their own, custom product.
Control-Panel:
Customizable Gradio app for working with product documentation allows uploading webpages, PDFs, images, and videos to a persistent vector store and query them. For inference, users can select between cloud endpoints like on the NVIDIA API Catalog or use self-hosted endpoints to run their own inference.
Public-Chat:
With product documents loaded, the Gradio app is a simplified, “read-only” chatbot that you can share with end users through the new AI Workbench App Sharing feature.
Figure 4. Using the Public-Chat web app, a read-only, pared down chat application that is meant to be more consumable and shareable to end users
Competition-Kernel example project
This project provides an easy, local experience when working on Kaggle competitions. You can easily leverage your local machine or a cloud instance to work on competition datasets, write code, build out models, and submit results, all through AI Workbench. The Competition Kernel project offers:
A managed experience to develop and test on your own GPUs and set up and customize in minutes.
Easy version control and tracking of code through GitHub or GitLab and very easy collaboration.
The power of using a local, dedicated IDE: robust debugging, intelligent code completion, extensive customization options.
Easy plugin to existing data sources (external or your own).
No Internet? No problem. Develop while offline.
Get started
This release of NVIDIA AI Workbench marks a significant step forward in providing a frictionless experience for AI development across GPU systems. New features from this release, including expanded Git support, support for multicontainer environments, and secure web app sharing, streamline developing and collaborating on AI workloads. Explore these features in the three new example projects available with this release or create your own projects.
To get started with AI Workbench,
install the application from the webpage
. For more information about installing and updating, see the
NVIDIA AI Workbench documentation
.
Explore a range of
NVIDIA AI Workbench example projects
, from data science to RAG.
Visit the
NVIDIA AI Workbench Developer Forum
to report issues and learn more about how other developers are using AI Workbench.

NVIDIA AI Workbench によるハイブリッド環境におけるスムーズなコラボレーションと迅速なプロトタイピング

Reading Time:
3
minutes
NVIDIA AI Workbench
は、選択したシステムでデータ サイエンス、AI、機械学習 (ML) プロジェクトを合理化する無料の開発環境マネージャーです。 PC、ワークステーション、データ センター、クラウド上で、あるいはそれらをまたがり、スムーズな作成、計算、コラボレーションを行うことを目的としています。基本的なユーザー体験はシンプルです:
単一システムで簡単なセットアップ:
Windows、Ubuntu、macOS ではクリック操作でインストールが完了し、リモート システムでは 1 行のコマンドでインストールすることができます。
分散型デプロイのための管理化された体験
: 集中型のサービスベースのプラットフォームを必要としない、本当の意味でハイブリッドなコンテキストにおける無料の PaaS/SaaS 型のユーザー体験。
エキスパートと初心者向けのシームレスなコラボレーション:
パワー ユーザーによるカスタマイズを制限することのない、使いやすい Git、コンテナー、アプリケーション管理。
ユーザーとシステム間の一貫性:
機能とユーザー体験を維持しながら、異なるシステム間でワークロードとアプリケーションを移行。
GPU 処理の簡素化
:
NVIDIA ドライバー
や
NVIDIA コンテナー ツールキット
などのシステム依存関係、
および GPU 対応のコンテナー
ランタイム構成を処理。
この記事では、GTC 2024 での製品発表以来、最も重要な NVIDIA AI Workbench の 10 月のリリースにおけるハイライトをご紹介します。製品ビジョン実現に向けた大きな一歩です。
リリース ハイライト
このセクションでは、最新リリースでの主要な新機能とユーザーから要望のあった更新について、詳しく説明します。
主な新機能には以下が含まれます。
ブランチ、マージ、差分、コミットと gitignore の細かい制御など、Git のサポートを拡大し、コラボレーションを強化します。
Docker Compose のサポートを通じて、マルチコンテナー環境で複雑なアプリケーションとワークフローを作成します。
シングルユーザー URL でアプリケーションを共有することで、シンプルかつ迅速、安全なプロトタイピングを実現します。
ユーザーの要望によるアップデート:
デスクトップ アプリのダークモード
ローカライズ版 Windows のインストール改善
Git サポートの拡張
これまで AI Workbench は、メイン ブランチでの単一のモノリシックなコミットのみをサポートしていました。 ユーザーはブランチとマージを手動で管理する必要があり、特にマージの競合の解決に関して、さまざまな種類の混乱が生じていました。 現在は、ブランチ、マージ、競合を、デスクトップ アプリと CLI で直接管理することができます。 加えて、コミットの個々のファイル差分を確認し、優先順位を付けることもできます。 この UI は、手動の Git 操作とシームレスに動作するように構築されており、関連する変更を反映して更新されます。
図 1. Git ブランチ用の AI Workbench Desktop アプリ タブ
これらの機能は、デスクトップ アプリの 2 つの新しいタブ: [Changes (変更)] と [Branches (ブランチ)] に表示されます。
変更
: 作業ツリーと以前のコミット間の差分を 1 行ずつ表示します。 ユーザーは、表示されているファイル差分、追跡された変更 (追加、修正、削除) に基づいて、ファイル変更を個別または一括で選択し、コミットすることができるようになりました。また、git-ignore にファイルを個別に拒否、または追加することもできます。 このビューはまた、手動の Git 操作を反映するように動的に更新されます。例えば、ファイルを手動でステージングし、作業ツリー内のファイルに変更を加えます。
ブランチ
: Git サーバー上のリモート ブランチを可視化するだけでなく、作成、切り替え、マージなどのブランチ管理を提供します。競合のあるブランチをマージすると、競合解決フローが開始されます。このフローは、ユーザーが UI 内で実行することも、選択した端末やファイル エディターに移動することもできます。
これらの高度な Git 機能の仕組みの詳細をご覧ください
。
Docker Compose スタックによるマルチコンテナーのサポート
AI Workbench が、
Docker Compose
をサポートするようになりました。 ユーザーは、AI Workbench がシングルコンテナー環境向けに提供する構成、再現性、移植性と同様の容易さで、マルチコンテナー アプリケーションとワークフローを操作することができます。
図 2. AI Workbench 環境管理タブの Docker Compose 機能
基本的な考え方は、AI Workbench によって管理され、メインの開発コンテナーに接続する Docker Compose ベースの「スタック」を追加することです。 スタックを追加するには、ユーザーは 適切な Docker Compose ファイルをプロジェクト リポジトリに追加し、デスクトップ アプリまたは CLI でいくつかの設定を行うだけです。
NVIDIA では、いくつかの理由があって Docker Compose を使用しています。 1 つ目は、何もない所から開発を行うことを望んでいなかったからです。そのため、
管理された Docker デスクトップ インストール
などの機能について
Docker チームと協力
してきました。
2 つ目は、AI Workbench の以外で、ユーザーがマルチコンテナー アプリケーションを操作できるようにするには、Docker Compose が最も簡単な方法だからです。この機能のビジョンは、AI Workbench 内のマルチコンテナー アプリケーションを合理化し、効果的な開発と演算処理を可能にし、シンプルな
docker-compose
up コマンドで AI Workbench 外で起動できるようにすることです。
このマルチコンテナー機能は新しい機能であり、今後も進化し続けます。
NVIDIA AI Workbench 開発者フォーラム
を通じて、是非フィードバックをお寄せください。問題解決をお手伝いいたします。
Docker Compose の仕組みの詳細をご覧ください
。
セキュアな URL によるウェブ アプリケーション共有
AI Workbench により、ユーザーはプロジェクトに組み込まれた管理されたウェブ アプリケーションを簡単に起動することができます。 このプロセスは非常に簡単で、Web アプリがインストールされたプロジェクトを作成または複製し、プロジェクトを開始してからアプリを開始すると、ブラウザーに表示されます。
このアプローチは開発者の UX には最適ですが、迅速なプロトタイピングの UX やコラボレーションには適していませんでした。 他のユーザーにアプリケーションへのアクセスとテストを行ってもらう場合、AI Workbench のインストール、プロジェクトの複製、実行を依頼するか、アプリケーションを完全に抽出して実行し、ユーザーが利用できるようにする必要がありました。 1 つ目はユーザーの課題であり、2 つ目は開発者の課題です。
NVIDIA では、リモートの AI Workbench を設定して外部からのアクセスを可能にし、そのリモート上のプロジェクトにおいて、ウェブ アプリケーションを実行するための一回限りの安全な URL を作成することができるシンプルな機能でこれらの課題を克服しました。 ユーザーがリモートのポート 10000 にアクセスできることを確認するだけで、アプリケーションに直接アクセスできるようになります。 リンクをクリックしてアプリに移動するだけです。
図 3. 開発者は、一回限りの安全な URL を通じて、エンドユーザーを AI Workbench プロジェクトで実行しているアプリケーションに、リモートで直接アクセスさせることができるようになりました
このようなアクセスを有効にすることは、迅速なプロトタイピングとコラボレーションに役立ちます。 だからこそ、さまざまな SaaS がこれを提供するマネージド サービスとして提供しているのです。AI Workbench との違いは、データ センターのリソースや共有サーバーなど、独自のリソースや独自のネットワークで、このアクセスを提供できることです。 クラウドである必要はありません。
AI Workbench は、単一のブラウザーとプロジェクトで実行されている単一のアプリケーションに対して、このアクセスを制限することで、安全性を確保します。 つまり、ユーザーは URL を他のユーザーと共有できず、共有したウェブ アプリに制限されます。
アプリケーション共有の仕組みの詳細をご覧ください。
ダーク モードとローカライズされた Windows インストール
多くのユーザーから、目に優しいダーク モードオプションの要望が寄せられました。 現在、このオプションは利用可能で、デスクトップ アプリから直接使用できる設定ウィンドウから選択できるようになっています。
ダーク モードの仕組みの詳細をご覧ください
。
ローカル インストールの主なユーザー層は Windows ユーザーですが、すべての Windows ユーザーが英語パックを使用しているわけではありません。また、WSL コマンドの処理方法により、この AI Workbench のインストールがブロックされていました。 特に、Windows 上でキリル文字、または中国語で作業するユーザーがブロックされていました。 英語以外の言語パックを処理する方法を調整したので、現在は問題なく機能するはずです。 以前ブロックされていた場合は、是非お試しください。 それでも機能しない場合は、
NVIDIA AI Workbench 開発者フォーラム
でお知らせください。それにより NVIDIA は、引き続きこの機能を改善することができます。
新しい AI Workbench プロジェクト
このリリースで、AI 開発をすぐに始められるように設計された新しいサンプル プロジェクトをご紹介します。詳細は以下をご覧ください。
AI Workbench プロジェクト
は、AI Workbench のコンテナー化された開発環境を定義する構造化された Git リポジトリです。 AI Workbench プロジェクトでは、以下を提供します。
簡単なセットアップと GPU 構成:
プロジェクトを GitHub または GitLab からクローンするだけで、残りは AI Workbench が自動で GPU 構成を行います。
開発の統合:
Jupyter や VS Code などの一般的な開発環境に対してシームレスにサポートし、ユーザー構成のウェブ アプリケーションについてもサポートします。
コンテナー化されたカスタマイズ可能な環境:
プロジェクトはコンテナー化され、分離され、簡単に変更可能です。 一貫性と再現性を確保しながら、特定のニーズに合わせてサンプル プロジェクトを適合させることができます。
NVIDIA AI Workbench サンプル プロジェクトをご覧ください
。
マルチモーダル仮想アシスタント サンプル プロジェクト
このプロジェクトでは、ウェブ検索へのフォールバックを伴うマルチモーダル
検索拡張生成 (RAG)
パイプラインを使用して、独自の仮想アシスタントをすることが構築できます。 ユーザーは、2 つの RAG ベースのアプリケーションを操作して、AI Workbench の詳細を学んだり、ユーザー ドキュメントを参照したり、自身のインストールのトラブルシューティングをしたり、あるいは RAG パイプラインを独自のカスタム製品に集中させたりすることができます。
Control-Panel:
製品のドキュメントを操作するためのカスタマイズ可能な Gradio アプリでは、ウェブページ、PDF、画像、動画を永続的なベクトル ストアにアップロードし、それらを問い合わせできます。 推論に関しては、NVIDIA API カタログのように、クラウド エンドポイントを選択したり、セルフホスト型のエンドポイントを使用して、独自の推論を実行できます。
Public-Chat:
製品ドキュメントが読み込まれると、Gradio アプリは簡素化された「読み取り専用」チャットボットとなり、新しい AI Workbench アプリ共有機能を通じてエンド ユーザーと共有できます。
図 4. Public-Chat ウェブ アプリは、読み取り専用のシンプルなチャット アプリケーションで、エンドユーザーの利用と共有を容易にします
Competition-Kernel サンプル プロジェクト
このプロジェクトは、Kaggle コンペティションに取り組む際に簡単なローカル エクスペリエンスを提供します。 AI Workbench を通じて、ローカル マシン、またはクラウド インスタンスを活用し、コンペティションのデータセット、コードの作成、モデルの構築、結果の提出などを簡単に実行することができます。 Competition Kernel プロジェクトでは、以下を提供します。
独自の GPU で開発とテストを行い、数分でセットアップとカスタマイズを行う管理された体験。
GitHub または GitLab によるコードのバージョン コントロールと追跡、コラボレーションが容易。
ローカルで専用 IDE を使用するパワー: 堅牢なデバッグ、インテリジェントなコード補完、広範なカスタマイズ オプション。
既存のデータ ソース (外部または独自) への簡単なプラグイン。
インターネットが使えない? 問題ありません。オフラインでも開発できます。
今すぐ始めましょう
この NVIDIA AI Workbench のリリースは、GPU システム全体で AI 開発に円滑な体験を提供する大きな一歩となります。 このリリースには、Git のサポートの拡張、マルチコンテナー環境のサポート、安全なウェブ アプリ共有など、AI ワークロードでの開発とコラボレーションの効率化などの新機能が含まれます。 このリリースで利用可能となった 3 つの新しいサンプル プロジェクトでこれらの機能をお試しいただくか、独自のプロジェクトを作成することもできます。
AI Workbench を始めるには、
ウェブページからアプリケーションをインストールしてください
。 インストールと更新の詳細については、
NVIDIA AI Workbench のドキュメント
を参照してください。
データ サイエンスから RAG まで、さまざまな
NVIDIA AI Workbench のサンプル プロジェクト
もご用意しています。
問題を報告したり、他の開発者による AI Workbench の活用方法を確認するには、
NVIDIA AI Workbench 開発者フォーラム
にアクセスしてください。
関連情報
DLI コース:
対話型 AI Building Conversational AI Applications (アプリケーションの構築 )
GTC セッション:
Breaking Barriers: How NVIDIA AI Workbench Makes AI Accessible to All (障壁の打破: NVIDIA AI Workbench による AI をすべての人々に身近にする方法)
ウェビナー:
Virtual Desktop in the Era of AI (AI 時代の仮想デスクトップ)
ウェビナー:
Jumpstart AI Development With Virtual Workstations (仮想ワークステーションで AI 開発を加速)