複製鏈接
請複製以下鏈接發送給好友

NVIDIA Omniverse

鎖定
NVIDIA Omniverse是NVIDIA旗下基於NVIDIA RTX和皮克斯Universal Scene Description(USD)的圖形和仿真模擬產品。 [1] 
外文名
NVIDIA Omniverse
所屬學科
計算機
所屬公司
NVIDIA
應    用
渲染軟件

NVIDIA Omniverse平台簡介

NVIDIA Omniverse是NVIDIA 技術歷經 20 年發展的結晶,它是一個易於擴展的平台,可以實現 3D 設計協作以及可擴展的多 GPU 實時逼真仿真。 [4] 
Omniverse僅需一鍵點擊即可在Autodesk Revit、McNeel Rhino或Trimble SketchUp之間切換。 [2]  用户無需進行數據準備或抽樣,就能使用兼容的照片級逼真的渲染軟件瀏覽大型模型。 [3] 
Omniverse還可以一鍵分享高保真光線追蹤模型,讓公司內部同事和客户能夠在手機、平板電腦或瀏覽器上查看這些模型,從而簡化設計審查,幫助團隊更有效地進行設計溝通。 [3] 
Omniverse AEC Experience功能集能夠為工作室提供一套改進概念設計流程的工具。 [2] 

NVIDIA Omniverse優勢特點

• 用户和應用間的實時協作:在單個交互式平台上實時整合用户和主流行業 3D 設計工具。無需準備數據便可即時進行更新、迭代和更改,從而簡化工作流程。 [4] 
• 實時的速度,離線工作的質量:Omniverse 提供可擴展的、實時光線追蹤和路徑追蹤。實時實現精美、物理級準確且逼真的視覺效果。
• 藉助 RTX 技術模擬現實:只需構建模型一次,即可隨時隨地渲染。在任何設備上實現 NVIDIA RTX™ 技術渲染的逼真度。輕鬆分享工作成果,並確保其原樣呈現。 [4] 

NVIDIA Omniverse適用場景

▪ 創作者
NVIDIA Omniverse 作為一箇中心,能夠互聯整個 3D 工作流程,將線性流程替換為實時同步創建。無論是視覺特效設計師、3D概念藝術家、數字人動畫師,還是數字AI藝術家、環境藝術家,都能以新方式和未體驗過的速度進行創作。 [12] 
▪ 遊戲開發者
為滿足遊戲玩家對宏大的沉浸式遊戲世界的期望,全球藝術家團隊必須構建大規模的 3D 內容庫。這既耗費人力,又十分昂貴,並且如果將逼真的照明、栩栩如生的物理效果和更佳的遊戲性能與 AI 相結合,該過程會變得更具挑戰性。 [13] 
NVIDIA Omniverse 能夠應對這些挑戰,並將藝術家及其資產和軟件工具統一到一個強大的平台中,來幫助遊戲開發者以創紀錄的速度構建物理級準確的逼真遊戲。 [13] 
NVIDIA Omniverse 是一款顛覆性平台,專為協作和實時逼真模擬而打造。遊戲開發者可以隨時隨地針對同一 3D模型開展協作,同時更大限度地提升工作效率、增進溝通和提高創新能力。 [13] 
NVIDIA Omniverse能夠實現遊戲開發內容創作變革:
加快遊戲上市速度:快速創建虛擬世界並進行迭代,同時繼續使用慣用的設計工具和引擎(如 Autodesk 3ds Max、Maya 和 Epic Games Unreal Engine)。Omniverse 支持實時同步協作工作流程,這意味着藝術家、設計師和開發者可以同時實時迭代角色、紋理和環境,縮短審查週期。 [13] 
管理豐富的資產庫:AAA 遊戲工作室擁有龐大的資產目錄,這些目錄已經建立數年,並且規模會繼續增長。開發者可以藉助 Omniverse 平台的 AI 和高級渲染功能搜索數千資產,幫助藝術家節省寶貴時間,避免錯過緊迫的截止日期。 [13] 
重新定義電子遊戲敍事:藉助由 AI 提供動力支持的動畫、真正的實時光線和路徑追蹤渲染以及先進的模擬,Omniverse Machinima 有助於重新定義敍事。該應用程序使遊戲開發者能夠通過沉浸式可視化、協作設計和逼真渲染來重新混合、重現和重新定義動畫電子遊戲敍事。 [13] 
簡化 3D 角色動畫:藉助 Omniverse Audio2Face,遊戲開發者可以將任何配音音軌與遊戲中的角色匹配。可以實時完成,也可以烘焙完成,做出逼真的面部動畫。 [13] 
▪ 企業
NVIDIA Omniverse Enterprise 是一款端到端協作和仿真平台,可從根本上改變複雜的設計工作流程。Omniverse Enterprise 可將團隊與其日常使用的應用和工具相連接,為當今的動態化團隊創建和諧高效的環境。 [14] 
NVIDIA Omniverse Enterprise能夠為企業提供實時協作和仿真模擬,加速 3D 設計和數字孿生的工作流程和項目。 [14] 
  • 工業與製造業
NVIDIA Omniverse可以利用 AI 在工程、仿真、生產、遠程協作和可視化方面取得的突破,革新設計、變革工程,併為未來工廠提供動力支持,以實現端到端製造業轉型。 [44] 
電子製造商都在採用NVIDIA生成式AI和Omniverse實現先進工廠的數字化。富士康工業互聯網、宣鼎、和碩、廣達和緯創使用NVIDIA Omniverse、Isaac Sim與Metropolis構建虛擬工廠、機器人仿真技術和自動化檢測。 [43] 
NVIDIA於2023年Computex大會期間宣佈,電子製造商正在使用綜合參考工作流程來推進其工業數字化進程。這套流程將融合NVIDIA的生成式AI、3D協作、仿真模擬和自主機器技術。依託合作伙伴網絡,這套工作流程可幫助製造商使用一系列NVIDIA技術來規劃、建造、運營和優化其工廠。這些技術包括:可連接頂尖計算機輔助設計(CAD)應用以及生成式AI應用程序接口(API)和NVIDIA Omniverse;用於仿真和測試機器人的NVIDIA Isaac Sim應用;以及可用於自動光學檢測的NVIDIA Metropolis視覺AI框架。 [42] 
富士康用於工廠的NVIDIA Metropolis與由 Omniverse 提供動力支持的用於機器人的Isaac Sim結合後,幫助其實現工業自動化目標。 [43] 
和碩運用NVIDIA Omniverse、Isaac Sim和Metropolis讓其能夠完成AI訓練、改進工廠工作流程,並在現實世界實施想法之前,先在虛擬世界中進行大量模擬。其將整座工廠數字化,從而能夠模擬完整的機器人和自動化流程,並在模擬環境中進行嘗試。 [43] 
廣達使用其子公司Techman Robot的AI機器人檢查產品質量。Techman利用由 Omniverse 提供動力支持的Isaac Sim來仿真、測試和優化協作機器人,同時使用NVIDIA AI和GPU讓機器人本身能夠進行推理。 [43] 
緯創使用NVIDIA Omniverse以及Autodesk AutoCAD、Autodesk Revit和FlexSim的輸入數據,為其自動化接收線路和操作間構建數字孿生。 [43] 
Omniverse與全球3D、模擬和生成式AI提供商相連接,這個開放的開發平台可以讓團隊在應用之間建立互操作性,比如來自Adobe、Autodesk和西門子的應用。 [43] 
一些全球大型工業軟件製造商正在將 Omniverse Cloud API 加入到其軟件組合中,包括 Ansys、Cadence、達索系統旗下 3DEXCITE 品牌、Hexagon、微軟、羅克韋爾自動化、西門子和 Trimble 等。 [48] 
自動化、數字化和可持續發展領域的西門子於 NVIDIA GTC 2024 大會上宣佈,他們正在擴展與 NVIDIA 的合作伙伴關係,從 Teamcenter X 開始,其 Siemens Xcelerator 平台應用將採用全新的 NVIDIA Omniverse Cloud API(應用編程接口)。 [49]  通過將 NVIDIA Omniverse 與 Teamcenter X 連接起來,西門子能夠助力工程團隊將基於物理學的數字孿生變得更加具有沉浸感、更加逼真,從而幫助消除工作流中的浪費並減少錯誤。通過使用 Omniverse API,諸如材質應用、環境照明以及其他場景資產支持等工作流,都能在基於物理學的渲染中利用生成式 AI 得到顯著加速。 [49] 
除此之外,在依賴複雜自動化系統、精準物料流程以及人機交互的設施(如汽車工廠、半導體代工廠、倉庫等)中同時採用 cuOpt、Omniverse 和 NVIDIA Metropolis for Factories,將有助於優化和創建安全的設施與環境以應對大量的物流處理。 [50] 
  • 廣告營銷 [45] 
WPP集團與NVIDIA基於NVIDIA AI和Omniverse打造用於數字廣告的開創性引擎,能夠連接軟件製造商的3D和AI創作工具,加強品牌內容和體驗。這個引擎與3D設計、製造和創意供應鏈工具生態相連,這讓WPP的藝術家和設計師能夠將3D內容創作與生成式AI相結合,使其客户能夠以高度個性化的方式接觸消費者,保持品牌形象、產品和徽標的質量、準確性和精確性。 [45] 
該內容引擎的基礎是Omniverse Cloud—用於連接3D工具以及開發和運行工業數字化應用的平台。它使WPP能夠連接來自軟件的產品設計數據所組成的供應鏈,來為客户產品創建貼合品牌的數字孿生。 [45]  通過使用經過生成式AI模型,以及來自Adobe和Getty Images等合作伙伴的內容,WPP的設計師可以使用文本提示來創建各種高保真圖像並將其導入到場景中。有了場景後,創作團隊可以為傳統廣告而渲染大量貼合品牌的2D圖像和視頻,或者將交互式3D產品配置器發佈到NVIDIA Graphics Delivery Network上。 [45] 
  • 數據中心
現代數據中心的設計、仿真和建立非常複雜,涉及性能、能效和可擴展性等多種考量因素。由計算和網絡設計、計算機輔助設計(CAD)建模以及機械、電氣和散熱設計方面技術精湛的工程師組成的團隊也必不可少。 [51] 
Omniverse 數字孿生由 Ansys、Cadence、PATCH MANAGER、Schneider Electric、Vertiv 等提供支持,為高效的 AI 基礎設施奠定了基礎。 [51]  NVIDIA 於GTC 2024大會上演示了在 Omniverse 中全面運營的數據中心的數字孿生。為了儘快建立新的數據中心,NVIDIA 首先使用 Omniverse 所連接的軟件工具構建了數字孿生。工程師使用由 NVIDIA Omniverse API 提供支持的 Cadence Reality 數字孿生平台,在通用場景描述(OpenUSD)中以全物理精度和照片級的真實感,統一併可視化了多個 CAD 數據集。 [51] 
  • 空間計算
全新 Omniverse Cloud API 使開發者能夠將交互式工業數字孿生流式傳輸到 Apple Vision Pro 中。 [52]  這一基於 Omniverse 的全新工作流將 Apple Vision Pro 突破性的高分辨率顯示屏與 NVIDIA 強大的 RTX 雲渲染技術相結合,只需設備和網絡連接即可提供空間計算體驗。 [53] 
這種基於雲的方法可將符合物理學的實時渲染無縫流式傳輸到 Apple Vision Pro,在提供高保真視覺效果的同時,也不會影響大型工程保真數據集的細節。 [53]  設計師可以佩戴 Vision Pro使用在 Omniverse 平台上開發的汽車配置器應用,來回切換各個車漆和裝飾選項,甚至進入汽車內部。通過融合逼真 3D 環境與物理世界,充分發揮出空間計算的強大功能。 [53] 
  • 主要組件
NVIDIA 於GTC 2024大會上宣佈將以 API 形式提供 Omniverse™ Cloud,將該全球領先的工業數字孿生應用和工作流創建平台的覆蓋範圍擴展至整個軟件製造商生態系統。NVIDIA Omniverse Cloud API 使開發者能夠將 Omniverse 技術集成到其設計與仿真工具和工作流中。 [54] 
藉助USD Render、USD Write、USD Query、USD Notify、Omniverse Channel這五個全新 Omniverse Cloud 應用編程接口(API),開發者能夠輕鬆地將 Omniverse 的核心技術直接集成到現有的數字孿生設計與自動化軟件應用中,或是集成到用於測試和驗證機器人或自動駕駛汽車等自主機器的仿真工作流中。 [54]  開發者可藉助 Omniverse Cloud API使用高保真傳感器仿真改進他們所使用的工作流,以此應對開發全棧自主性的挑戰。 [55] 
除此之外,開發者還可以輕鬆地將其通用場景描述(OpenUSD)工業場景從他們的內容創建應用中發送到 NVIDIA Graphics Delivery Network(GDN)。GDN 是一個由圖形就緒數據中心組成的全球網絡,可將先進的 3D 體驗流式傳輸至 Apple Vision Pro。 [56]  基於 Omniverse 的全新工作流將 Apple Vision Pro 突破性的高分辨率顯示屏與 NVIDIA 強大的 RTX 雲渲染技術相結合 [53]  ,設計師可以使用該技術全保真地查看 3D 數據,而不會降低質量或模型細節。 [53] 
另外,Omniverse Cloud 平台還為應用開發者提供了許多功能強大的通用場景描述(OpenUSD)、RTX 和支持生成式 AI 的服務級雲 API,為下一代工具帶來互操作性和符合物理學的渲染。 [55] 
  • 核心功能
於GTC 2024發佈的五個全新 Omniverse Cloud API,既可單獨使用,也可組合使用。這些 API 彙集了一個由仿真工具、應用和傳感器組成的豐富生態系統,它們分別是: [55] 
•USD Render:生成 OpenUSD 數據的全光線追蹤 NVIDIA RTX™ 渲染
•USD Write:讓用户能夠修改 OpenUSD 數據並與之交互
•USD Query:支持場景查詢和交互式場景
•USD Notify:追蹤 USD 變化並提供更新信息
•Omniverse Channel:連接用户、工具和世界,實現跨場景協作 [55] 
  • 生態夥伴
達索系統(Dassault Systèmes)正在通過其 3DEXCITE 應用程序進行 3D 內容創作,將 Shutterstock 的生成式 360 HDRi API 整合到其基於 NVIDIA Omniverse(用於開發基於 OpenUSD 的 3D 工作流和應用的計算平台)的工作流中,CGI 工作室 Katana 也在推進相同的整合工作。 [57] 
西門子於 NVIDIA GTC 2024 大會上宣佈,他們正在擴展與 NVIDIA 的合作伙伴關係。未來,西門子計劃將 NVIDIA 加速計算、生成式 AI 和 Omniverse 引入其更多的 Siemens Xcelerator 產品系列中。 [49] 

NVIDIA Omniverse主要組件

Omniverse 包含 5 個重要組件,分別是 Omniverse Connect、Nucleus、Kit、Simulation (模擬)和 RTX渲染器。這些組件連同所連接的第三方數字內容創作 (DCC) 工具,以及所連接的其他 Omniverse 微服務,共同組成整個 Omniverse 生態系統。 [16] 
Omniverse Connect 庫以插件的形式分佈,使客户端應用能夠連接到 Nucleus,以及發佈和訂閲單個資產和整個世界。完成必要的同步後,DCC 插件將使用 Omniverse Connect 庫應用從外部接收的更新,並在必要時發佈內部生成的更改。當應用更改場景的 USD 表示時,Omniverse Connect 會跟蹤自上次發佈活動後的所有本地更改。當應用發出請求後,Omniverse Connect 庫將針對每個差異構建一個獨立文件,並將其發佈到 Nucleus,然後轉發給所有訂閲者。 [15] 
Omniverse Nucleus 提供一組基本服務,使各種客户端應用、渲染器和微服務能夠共享和修改虛擬世界的表示。Nucleus 在發佈/訂閲模式下運行。根據訪問控制,Omniverse 客户端可以將對數字資產和虛擬世界的修改發佈到 Nucleus 數據庫 (DB),或訂閲這些更改。更改在互聯的應用之間實時傳輸。數字資產包括幾何圖形、燈光、材質、紋理,以及描述虛擬世界及其演變的其他數據。 [17] 
Omniverse Kit 並非單體應用,而是由一些擴展程序組成,這些擴展程序可作為構建塊以多種方式組裝,進而助力創建不同類型的應用。由於均採用 Python 編寫,所有 UI 元素、工作流程和一般性功能具有很高的可定製性。Omniverse Kit 是一個用於構建原生 Omniverse 應用和微服務的工具包,基於基礎框架而構建,該框架可通過一組輕量級擴展程序提供各類功能。這些獨立擴展程序是用 Python 或 C++ 語言編寫的插件。 [18] 
SIGGRAPH 2023上的Omniverse Kit 更新包括:
  • 模塊化應用構建:全新 Omniverse Kit Extension Registry 是一個用於訪問、共享和管理 Omniverse 擴展程序的中央存儲庫,開發者可以輕鬆啓用或關閉其應用中的功能,因此能夠輕鬆地利用 NVIDIA 提供的 600 多個核心 Omniverse 擴展程序來構建自定義應用。 [47] 
  • 全新開發者模板和資源:全新應用和體驗模板讓剛開始使用 OpenUSD 和 Omniverse 的開發者只需要進行極少量的編碼工作就能輕鬆上手。 [47] 
  • 提升效率和用户體驗:全新渲染優化功能充分利用 NVIDIA RTX™ GPU 中 NVIDIA Ada Lovelace 架構的各項改進,並將 DLSS 3 技術完全集成到 Omniverse RTX 渲染器中。全新 AI 降噪器可實現大型工業場景的實時 4K 路徑追蹤。 [47] 
  • 由原生 RTX 驅動的空間集成:全新擴展現實(XR)開發者工具可讓用户在基於 Omniverse 的應用中構建原生空間計算選項,使用户能夠按照自己的想法靈活地體驗 3D 項目和虛擬世界。 [47] 
Omniverse 中的模擬功能由一系列 NVIDIA 技術以插件或微服務形式向 Omniverse Kit 提供。Omniverse 物理模擬包括剛體動力、破壞和斷裂、汽車動力以及流體動力 (Flow) 等效果模擬。Flow 是對煙/火的歐拉流體模擬,利用稀疏體素網格實現無界模擬域。 [20] 
Omniverse RTX 渲染器充分利用 NVIDIA Turing 及 Ampere 架構中的硬件 RT Core,實現了實時的硬件加速光線追蹤和路徑追蹤。這款渲染器在實現光線追蹤之前無光柵化處理,因此可以實時處理大型場景。它包含兩種模式,一種是提供快速性能的傳統光線追蹤,另一種是提供高質量結果的路徑追蹤。Omniverse RTX 渲染器在一個系統內原生支持多個 GPU,不久後將支持多個系統的交互式渲染。 [19] 

NVIDIA Omniverse應用程序

Omniverse Audio2Face:藉助 NVIDIA 深度學習 AI 技術,僅需一個音頻來源即可快速輕鬆生成表情豐富的面部動畫。 [5] 
• Omniverse Create:是一個集成開發環境,幫助開發人員構建擴展、應用和微服務 [6] 
▪ Omniverse Create:用於加速高級場景合成的應用。 [25] 
• DRIVE Sim:DRIVE Sim 可以生成數據集來訓練車輛的感知系統或測試決策制定過程。它還可支持在“軟件在環 (SIL)”或“硬件在環 (HIL)”配置中與自動駕駛堆棧相連,用以測試系統集成。 [7] 
▪ Omniverse Kaolin App:可視化工具。使用 NVIDIA Kaolin PyTorch 庫和此功能強大的可視化工具,簡化並加速 3D 深度學習研究。 [9] 
• Omniverse Machinima:使用 AI 技術為遊戲玩家提供工具包,能夠重新定義動畫視頻遊戲故事 [10]  [9] 
• Universe View:一款可視化應用,能讓用户查看物理級準確的逼真 3D 設計,獲得令人驚歎的效果。 [8]  [11] 
▪ Omniverse VR:全幀交互式光線追蹤VR。 [26] 
▪ Omniverse XR Remote:允許將3D內容從桌面傳輸到 iPad [27] 
▪ Omniverse Farm:允許用户協調多個計算資源以執行批處理和交互式任務的系統層。 [26] 
▪ Omniverse Showroom:用於查看數字資產。 [28]  [30] 
▪ Omniverse Nucleus Cloud:一鍵協作式3D 大型場景協同創作模式。 [29] 
• PhysX® :用於模擬物理 [32]  ,可以進行實時、多 GPU、可擴展的柔體和顆粒布料仿真,幫助提高虛擬世界和物體的物理準確性。 [31] 

NVIDIA Omniverse平台與服務

▪ NVIDIA Omniverse Avatar:用於生成交互式AI虛擬化身 [21] 
▪ NVIDIA Omniverse Replicator:合成數據生成引擎,生成用於訓練深度神經網絡的物理模擬合成數據。 [22] 
▪ Omniverse Cloud:Omniverse Cloud這套雲服務能夠讓藝術家、創作者、設計師和開發者即時訪問 NVIDIA Omniverse平台,允許來自數十億台設備的用户進行 3D 設計協作和模擬。 [23] 
▪ NVIDIA OVX:用於驅動大規模數字孿生的 NVIDIA OVX計算系統專為運行 NVIDIA Omniverse(實時物理級準確世界模擬和 3D 設計協作平台)中的複雜數字孿生模擬而設計。 [24] 

NVIDIA Omniverse核心功能

Omniverse應用更新支持開發者和企業客户基於Omniverse基礎應用來自行構建,以適應其特定的工作流:
  • NVIDIA USD Composer(原Omniverse Create):設計師和創作者可使用該可自定義的基礎應用,整合基於USD的大型數據集併合成工業虛擬世界。 [41] 
  • NVIDIA USD Presenter(原Omniverse View):可自定義的基礎應用,並可作為可視化參考應用,來用於USD項目的交互、協作式展示與審查。 [41] 
  • NVIDIA USD-GDN Publisher:這套雲服務可賦能開發者和服務提供商輕鬆構建和發佈基於USD的先進交互式3D體驗,並突破地點和設備限制,實現3D體驗的流式傳輸。 [41] 
  • 優化開發者體驗:利用公共擴展程序註冊表,用户可實現擴展程序的自動更新。配置器模板和工作流以及用於Omnigraph的NVIDIA Warp Kernel Node,將為基於GPU的編碼提供zero-friction developer 工作流程。 [41] 
  • 渲染和材質:Omniverse提供用於實時光追次表面散射的着色器,可使數字人的皮膚達到真實感。Omniverse 通用材質映射器的更新,可賦能用户在保留材質結構和完整編輯功能的基礎上,無損導入第三方應用中的材質庫。 [41] 
  • 性能:USD的運行時數據傳輸技術可在大規模大型場景的重要性能開發中,提供在模塊間存儲和移動運行時數據的高效方法。場景優化器可賦能用户在USD層運行優化,將大型場景轉換為輕量級的表示方式,以提高場景的交互性。 [41] 
  • AI訓練功能:自動域隨機化和基於羣體的訓練(PBT)可在很大程度上簡化自主機器人開發中的複雜機器人訓練。 [41] 
  • 生成式AI:用户利用text-to-materials擴展程序,僅需利用文本 Prompt就可自動生成材質。為加速推進生成式AI的應用,Omniverse還通過內部更新,新增了“文本-材質轉換”和”文本-代碼轉換”的生成工具。此外,Audio2Face應用更新還加入了無顯示輸出模式、REST API、高質量的唇音同步以及涵蓋漢語普通話在內的強化版多語言支持等功能。 [41] 
NVIDIA 發佈了四款自主構建的全新Omniverse Cloud API,幫助開發者無縫地實施和部署 OpenUSD 流程與應用。 [46] 
  • ChatUSD:一款面向開發人員的大型語言模型 (LLM) copilot 工具,可以回答 USD 知識問題或生成 Python-USD 代碼腳本。ChatUSD 藉助 NVIDIA 提供的 USD 功能和 Python-USD 代碼片段進行微調。 [46] 
  • RunUSD:其是一個 Cloud API,它通過檢查上傳文件與 OpenUSD 版本的兼容性,將 OpenUSD 文件轉換為完全路徑跟蹤渲染的圖像,並使用 Omniverse Cloud 生成渲染。目前,NVIDIA OpenUSD 開發者計劃中的開發人員可以使用該 API 的演示。 [46] 
  • DeepSearch:其為 LLM 代理,可在大量無標記資產數據庫中進行快速語義搜索。 [46] 
  • USD-GDN Publisher:其為一鍵式服務,可助力企業和軟件製造商從 USD Composer 等基於 Omniverse 的應用向 Omniverse Cloud GDN 發佈基於 OpenUSD 的高保真體驗,並實時傳輸到網絡瀏覽器和移動設備。 [46] 

NVIDIA Omniverse數字孿生步驟

NVIDIA Omniverse 軟件實現數字孿生需要經過三個步驟:全保真數字化、合成數據生成和自定義3D流程編排。
  • 全保真可視化
定義:CAD級精度、實時的超寫實可視化。
特點:能夠引入CAD級精度的大規模數據集,並實現實時可視化;集成來自多個工具的3D數據集;充分利用多GPU計算資源。 [34] 
NVIDIA Omniverse是一個易於擴展的平台,可以實現3D設計協作以及可擴展的多GPU實時逼真仿真。Omniverse中的材質、物理學、物理精確、實時光線跟蹤和路徑追蹤渲染能夠助力實現全保真可視化。 [34] 
寶馬集團使用Omniverse構建工廠的大規模數字孿生。 [33] 
亞馬遜擁有 200 多個機器人設施,每日可處理數百萬個包裹。其運營十分複雜,需要超過 50 萬個移動驅動機器人來為倉庫物流提供支持。Amazon Robotics 正在利用 Omniverse Enterprise 和 Isaac Sim,構建 AI 賦能的倉儲數字孿生,以更好地優化倉儲設計和流程,訓練更智能的機器人解決方案。 [35] 
  • 合成數據生成
定義:生成用於訓練感知網絡的物理精確的3D數據。
特點:可擴展,利用多GPU計算資源;可大幅縮短訓練時間 [34] 
通過使用NVIDIA Omniverse平台的核心材質、渲染技術,可以生成與現實無異的物理精確數據。Omniverse中有多種合成數據生成的工具,包括:NVIDIA Isaac Sim replicator、DRIVE Replicator、NVIDIA Omniverse Replicator。這些合成數據生成工具也可以與NVIDIA TAO、Isaac Sim、NVIDIA DRIVE Sim、NVIDIA Metropolis協同部署。 [34] 
百事公司正考慮利用 Omniverse Enterprise 和 Metropolis 支持的數字孿生,提升其供應鏈在 200 個地區市場中 600 多個配送中心的效率和環境可持續性。 [36] 
  • 自定義3D流程編排
定義:在軟件應用中構建自定義工具。 [34] 
NVIDIA Omniverse平台是一個參考開發平台,開放且易於擴展 [37]  。在Omniverse Kit中,用户可以構建自定義工具。Omniverse為用户提供構建模塊,以建立用户自己的Connector(連接器)、擴展程序或應用程序。用户可以使用NVIDIA的渲染、模擬、材質等所有核心技術,而無需自己動手構建。在Omniverse中,用户無需重建整個3D工作流程,僅通過建立工具,即可實現連接、增強、擴展。 [34] 

NVIDIA Omniverse更新功能

● Unity Omniverse Connector 可供搶先體驗。 [38] 
● Blender alpha 版本現可在 Omniverse Launcher 中使用,使用户能夠修復幾何體,生成自動 UV,並將高分辨率 CAD 數據抽取為更多可用的多邊形。 [38] 
● Audio2Face、Audio2Emotion和Audio2Gesture 的更新能夠更好地實現即時且逼真的角色動畫,現可在Omniverse Audio2Face 和Omniverse Machinima 中使用。 [38] 
● NVIDIA Canvas的功能更新版本即將在Omniverse Launcher 上線,可通過簡單的筆觸來創建 360 度全景。用户可將環境導入 3D 應用程序,以對不同的設置和光照進行測試。 [38] 
● AI ToyBox實驗工具由NVIDIA Research構建,包括GET3D,這是一種 Omniverse 擴展,可基於2D圖像生成可訓練的3D模型,使開發者能夠使用自己的數據集,快速創建 3D 虛擬世界模型,現已在Omniverse Extension Manager 中提供。 [38] 
● 免費3D資產現已提供,供用户在Omniverse中進行構建和創作。 [38] 
  • Move.ai能根據身體動作生成動畫。用户可以在任何地方捕捉人體動作並直接輸出到Omniverse中。 [40] 
  • Lumirithmic可根據面部掃描生成頭部3D網格。該連接器使用户能夠輕鬆地根據面部掃描創建電影級的虛擬形象並在任何行業都能實現大規模的3D掃描。 [40] 
  • Elevate3D可根據360度視頻錄像生成逼真的產品3D圖像,利用神經輻射場創建具有超高視覺保真度的3D網格。
NVIDIA在CES上發佈生成式AI模型—GET3D,可以根據2D圖像、文本和數字等數據生成具有拓撲結構、豐富幾何細節和紋理的3D形狀。這些3D形狀或紋理網格可以是動物和人類的造型,並且即將加入汽車、椅子、摩托車和建築物,使部分行業的創作者能夠迅速擴大他們虛擬世界中的內容數量和多樣性。 [40] 
GET3D在Omniverse AI ToyBox中與NVIDIA發佈的現有生成式AI研究項目一起提供。AI ToyBox收錄了NVIDIA AI項目,使內容創作者能夠在虛擬世界中探索新的可能性。 [40] 
● 數字孿生:NVIDIA Omniverse模擬平台可簡化協作式虛擬設計流程;數據中心的設計師、建設方和運營商可以利用模擬和數字孿生技術創建高效率、高性能的設施。 [39]  Omniverse實現CAD、模擬和監控應用的實時數據輸入的彙總,使數據中心運營商能夠實時查看和處理完整的數據集。在規劃和建造AI超級計算機時,NVIDIA Omniverse從第三方行業工具中採集了多個工程 CAD 數據集,使設計師和工程師能夠查看全保真模型,並通過實時協作進行設計迭代。 [39] 
Omniverse賦能用户利用加速計算、模擬,以及與實時監測和AI相連接的、用於運營的數字孿生以簡化設施設計、加速設施建設與部署,並持續優化運營效果。 [39]  當數據中心建設完成後,能夠將傳感器、控制系統和遙測系統連接到 Omniverse 內構建的數字孿生中,實時監控數據中心運營情況。工程師藉助數字孿生可以模擬功率峯值、冷卻系統故障等常見的危險情況。運營商可以通過AI的修改建議來優化重要的優先事項。運營商通過數字孿生可以在軟件與組件升級部署到實體數據中心之前,對其進行測試和驗證。 [39] 

NVIDIA Omniverse生態系統

基於NVIDIA Omniverse(創建和運行元宇宙應用的平台)中Omniverse Connectors及其他更新,開發者與創作者可以挖掘生成式AI、模擬和工業元宇宙的潛力。 [41] 
Omniverse Connectors:用於西門子Xcelerator產品組合(包括西門子 Teamcenter、Siemens NX軟件和西門子Process Simulate)、Blender、Cesium、Rockwell Automation的Emulate3D、Unity以及Vectorworks的全新Omniverse Connectors現已上線,Omniverse Connectors可通過通用場景描述(USD)框架連接更多全球領先應用,幫助用户進一步優化互連工作流。用於Azure 數字孿生、Blackshark.ai、FlexSim和NavVis 的Omniverse Connectors也即將推出。 [41] 
SimReady 3D資產:推出的1000多種SimReady資產,可簡化AI和工業3D工作流。智能自動化解決方案供應商KUKA正在與NVIDIA展開合作,評估SimReady規範的適用性,以簡化客户的模擬工作。 [41] 
合成數據生成:基於Omniverse Replicator軟件開發套件,Lexset和西門子SynthAI正在利用計算機視覺輔助工業檢測。Datagen和Synthesis AI正在使用NVIDIA SDK,創建用於AI訓練的合成數字人。德勤則正在利用Omniverse Replicator為客户提供合成數據生成服務,其中涵蓋製造業、電信行業等領域。 [41] 
參考資料
展開全部 收起