【金年會jinnianhui科技消息】近日，英偉達在臺北舉辦的GTC活動上公布了Cosmos 3，并將其稱為全球首個“完全開放的全能模型”。該模型面向機器人、自動駕駛汽車及視覺智能體，主打基于視覺的推理能力，同時可生成文本、圖像、視頻、環境聲音和動作等多模態內容。

　　據介紹，Cosmos 3采用由推理Transformer與生成Transformer組成的架構。前者用于理解物體交互、運動以及時空關系，后者則在此基礎上生成視頻內容和動作軌跡。英偉達表示，這種設計使模型能夠先理解現實世界中的物理互動，再輸出與之對應的畫面和行為結果，從而提升對復雜環境的建模能力。

　　英偉達稱，Cosmos 3主要針對機器人、自動駕駛車輛和視覺代理在真實環境理解上的難題。當前相關訓練數據仍然有限，仿真系統也較為分散，這使得機器在學習物理世界規律時面臨較高門檻。Cosmos 3的目標是讓模型以更高的物理準確性，原生理解并生成文本、圖像、視頻、環境聲音及動作信息。

　　從應用定位來看，英偉達表示，Cosmos 3既可作為視覺語言模型使用，也可作為模擬物理環境、預測未來世界狀態的世界模型，還可作為其他世界模型的基礎平臺。產品規劃方面，響應精度最高的Cosmos 3 Super和輕量版本Cosmos 3 Nano已可用，面向邊緣設備實時推理的Cosmos 3 Edge將于后續推出。

　　在技術層面，Transformer是一類深度學習神經網絡，擅長處理序列數據中的上下文關系，可通過并行計算提升生成效率。英偉達此次將推理與生成能力結合，意在為機器人和自動駕駛系統提供更接近真實物理世界的基礎模型能力。

版權所有，未經許可不得轉載