“您將看到的是一個永恆的主題，即如何使用Omniverse來模擬”

11月9日，NVIDIA GTC 2021 在美國加利福尼亞州聖克拉拉召開。

NVIDIA

處

處給我們驚喜，這次，黃老闆並沒有使用

虛擬數字人替身，而是直接用新技術造了一個“小黃”！

網友高呼：

求黃老闆同款手辦！

而這些都是NVIDIA最近實現的技術的成果。

NVIDIA釋出了用於生成互動式AI虛擬形象的技術平臺——NVIDIA Omniverse Avatar。同時NVIDIA還發布了一款能夠生成用於深度神經網路的合成數據的強大引擎——NVIDIA Omniverse Replicator，它能夠生成用於訓練深度神經網路的物理模擬合成數據。

兩者皆是用於3D工作流程的虛擬世界模擬和協作

平臺NVIDIA Omniver

se

的一部分，Omniverse公測版使用者現已超過7萬人，此外，還有 700 多家公司的專業人士使用。這些公司包括寶馬集團、CannonDesign、Epigraph、Ericsson、建築公司 HKS 和 KPF、Lockheed Martin 以及 Sony Pictures Animation。

黃仁勳：“智慧虛擬助手的前景一片光明”

“Omniverse Avatar將我們的基礎影象、模擬和AI技術結合在一起，打造出一些有史以來最複雜的實時應用。協作機器人和虛擬助手的案例令人難以置信，影響深遠。” NVIDIA創始人兼執行長黃仁勳表示。

據介紹，Omniverse Avatar能夠連線NVIDIA在語音AI、計算機視覺、自然語言理解、推薦引擎和模擬方面的技術。在該平臺上可以建立具有光線追蹤3D影象效果的互動式虛擬形象，可以看到、說話、談論各種主題，以及合理地理解表達意圖。

擁有了Omniverse Avatar就可以根據各個行業的需求來定製AI助手。AI助手可以用來幫助處理日常客戶服務互動，比如餐廳訂單，銀行交易，個人預約和預訂等。

這些技術被整合在一個應用，並使用NVIDIA

統一計算框架進行實時處理。這些技術被打包成可擴充套件、自定義微服務後，能夠通

過NVIDIA Fleet Command™

在多個地點安全地部署、管理和協調。

在

NVIDIA GTC主題

演講中，黃仁勳分享了使用Om

niverse Avatar

的多個例子，包括用於客戶支援的Project Tokkio、用於永久線上車載智慧服務的

NVIDIA DRIVE Concierge以

及用於影片會議的

Project Maxine。

在第一個Project Tokkio演示中，黃仁勳展示

了NVIDIA的同

事們與一個黃仁勳的卡通虛擬形象進行互動——就生物學和氣候科學等話題開展對話。黃仁勳將這個“

小黃”叫做Toy-me，使

用了他自己聲音合成的語音、角色動畫以及基於光線追蹤的精美影象，而且這一切內容都是實時的。

在第二個Project Tokkio演示中，黃仁勳著重介紹了餐廳自助服務亭中的一個客戶服務虛擬形象。演示中，有兩名顧客正在訂購素食漢堡、薯條和飲料，該虛擬形象看到了他們、與他們交談並理解了他們。這些演示由NVIDIA AI軟體和目前全球最大的可定製語言模型——Megatron 530B驅動。

在DRIVE Concierge AI平臺演示中，中央儀表盤螢幕上的數字助理幫助駕駛者選擇了最佳駕駛模式以準時到達目的地，然後按照駕駛者的要求，設定在汽車續航里程下降到100英里以下時進行提醒。

另外，黃仁勳還展示了Project Maxine如何為虛擬協作和內容創作應用增加最先進的影片和音訊功能。演示中，一個講英語的人在嘈雜的咖啡館裡進行影片通話，但是其他人可以清楚地聽到她所說的話，沒有背景噪音。當她講話時，她的話被實時轉錄並翻譯成德語、法語和西班牙語，並且聲音和語調與原話完全相同。

Omniverse Avatar主要組成部分

Omniverse Avatar 所使用的語音AI、計算機視覺、自然語言理解、推薦引擎、面部動畫和影象元素，透過以下技術實現：

其語音識別基於NVIDIA Riva。這個軟體開發工具包可以識別多種語言的語音。Riva還可透過文字語音轉換功能生成接近真人的語音反饋。

其自然語言理解基於Megatron 530B大型語言模型。該模型可以識別、理解和生成人類語言。Megatron 530B是一個預訓練模型，它可以在很少或沒有訓練的情況下完成句子、回答主題廣泛的問題、總結長而複雜的故事、翻譯成其他語言，並應對許多它未接受過專門訓練的情景。

其推薦引擎由NVIDIA Merlin™提供。該框架使企業可以建立能夠處理大量資料的深度學習推薦系統，以提出更明智的建議。

其感知功能來自用於影片分析的計算機視覺框架——NVIDIA Metropolis。

其虛擬形象動畫由AI賦能的2D和3D面部動畫和渲染技術——NVIDIA Video2Face和Audio2Face™驅動。

這些技術被整合在一個應用，並使用NVIDIA統一計算框架進行實時處理。這些技術被打包成可擴充套件、自定義微服務後，能夠透過NVIDIA Fleet Command™在多個地點安全地部署、管理和協調。

為了幫助開發人員建立訓練 AI 所需的大量資料，NVIDIA 推出了 Omniverse Replicator。

Omniverse Replicator應用，打造虛擬世界

首批基於Omniverse Replicator用於生成合成資料的應用應運而生，它們分別是用於承載自動駕駛汽車數字孿生的虛擬世界

——NVIDIA DRIVE

Sim™和用於可操縱機器人數字孿生的虛擬世界—

—NVIDIA Isaac Sim

™。

NVIDIA模擬技術和Omniverse工程副總裁Rev Lebaredian表示：“透過Omniverse Replicator，我們能夠建立多樣化、大規模、精確的資料集來構建高質量、高效能和安全的資料集，這對於AI來說至關重要。我們已自主構建了兩個特定領域資料生成引擎，可以想象的是，許多企業都會使用Omniverse Replicator建立自己的引擎。”

這兩個Replicator應用使開發者能夠以人類無法做到的方式引導AI模型、填補現實世界的資料空白，並標記真值資料。在這些虛擬世界中產生的資料可以涵蓋各類不同場景，包括在現實世界中無法經常經歷或安全體驗的罕見和危險情況。

黃先生將

Isaac Sim

稱為有史以來最逼真的機器人模擬器，Isaac Sim Replicator 可以生成合成資料來訓練機器人，並且表示要讓機器人不知道它是在模擬世界還是現實世界中。

使用這些資料構建的自動駕駛汽車和機器人可以在一系列虛擬環境中掌握技能，然後再應用到物理世界中。

真實世界資料是昂貴、費力、需要人工標記的，它容易出錯且不完整，而Omniverse Replicator擴充套件了這些資料，該引擎能夠建立大量、多樣化的精確物理資料以滿足自動駕駛汽車和機器人開發者的需求。它還能生成人類難以或無法標記的真值資料，如速度、深度、被遮擋的物體、惡劣的天氣條件、追蹤各感測器上的物體移動等。

Omniverse Replicator已

成為NVIDIA DRIVE自動駕

駛汽車團隊和Isaac機器人團隊的重要資料生成引擎。該引擎將於明年上線，幫助開發者

構建特定領域資料生成引擎。