NVIDIA 透露，Apple Vision Pro 等混合實境裝置可用於協助開發人員加速人形機器人的開發。
NVIDIA 在 3 月推出了 GR00T 項目，“一個用於人形機器人的通用基礎模型，旨在進一步推動機器人技術和特定人工智慧領域的突破。”
「登月」計畫是為人形機器人平台建立通用人工智慧大腦的嘗試，它絕對不會崛起、接管世界並殺死我們所有人。 “可能會出什麼問題嗎？”除此之外，NVIDIA 還透露了 Apple Vision Pro 等設備如何為其新的合成數據生成管道提供支持，從而將人類動作模擬為機器人可以遵循的命令。
愛機器人
NVIDIA 加速人工智慧和人形機器人的未來 - YouTube 觀看
在影片中，該公司展示了為人形機器人生態系統中的開發人員提供的一套新工具將如何幫助他們更好、更有效率地建立人工智慧模型，這要歸功於上述新的合成數據生成管道。
NVIDIA 表示，新平台可以使用 Apple Vision Pro 等裝置收集人體運動演示，例如製作烤麵包。收集完畢後，可以使用 NVIDIA 的模擬工具將資料放大「1000 倍或更多」。
一旦收集到數據，就可以重新應用並用於訓練絕對不會攻擊您和您的家人的人形機器人。 NVIDIA 表示，它“距離解決人形機器人的 AI 大腦問題又更近了一步”，而 Apple Vision Pro 就是解決方案的一部分。
這並不是 NVIDIA 第一次利用 Apple Vision Pro 讓我們一窺未來。今年早些時候，它推出了適用於 Apple Vision Pro 的基於 OpenUSD 的 Omniverse 企業數位孿生。 IT 展示了直接傳輸到 Apple Vision Pro 的全保真汽車數位孿生，讓設計師可以切換油漆、選擇裝飾，甚至坐在車內，使用空間運算將 3D 逼真環境與物理世界融合在一起。
幾分鐘內掌控你的 iPhone iMore 擁有數十年 Apple 裝置經驗，可提供來自我們專家團隊的針對性建議和指導。透過 iMore 了解更多！與我聯繫，了解其他未來品牌的新聞和優惠 代表我們值得信賴的合作夥伴或贊助商接收我們發送的電子郵件
]
雅加達 - Nvidia 推出了一項新的控制服務，讓開發人員可以開展涉及人形機器人的項目，這些機器人使用 Apple Vision Pro 進行控制和監控。
目前開發人形機器人本身面臨許多挑戰。其中之一是控制這個非常技術性的設備。為了在這一領域提供幫助，Nvidia 提供了許多用於機器人模擬的工具，其中包括一些輔助控制的工具。
這些工具由 Nvidia 為主要機器人製造商和軟體開發商提供。該模型和平台套件旨在訓練新一代人形機器人。
該工具集包括 Nvidia 所謂的 NIM 微服務和用於模擬和學習的框架。還有 Nvidia OSMO 編排服務來處理多階段機器人工作負載，以及人工智慧和模擬支援的遠端操作工作流程。
作為此工作流程的一部分，耳機和 Apple Vision Pro 等空間運算設備不僅可用於查看數據，還可用於控制硬體。
輝達執行長兼創始人黃仁勳表示：“人工智慧的下一波浪潮是機器人技術，而最有趣的發展之一是人形機器人。” “我們正在開發一整套 NVIDIA 機器人技術，為世界各地的開發人員和人形公司提供使用最適合他們需求的平台、加速庫和 AI 模型的機會。”
NIM 微服務是一個使用 Nvidia 推理軟體的預先建構容器，旨在減少實施時間。其中兩個微服務旨在幫助開發人員模擬工作流程，以便在參考應用程式 Nvidia Isaac SIM 中產生實體 AI。
其中一項微服務 MimicGen NIM 用於幫助使用者使用 Apple Vision Pro 或其他空間計算設備控制硬體。該服務根據「記錄的遠端操作數據」為機器人產生合成運動數據，即將 Apple Vision Pro 的運動轉換為機器人將執行的運動。
影片和圖像表明，這不僅僅是根據耳機運動來移動攝影機。值得注意的是，基於Apple Vision Pro感測器，手部動作和手勢也被記錄和使用。
因此，使用者可以看到機器人的動作並直接控制他們的手和手臂，所有這些都使用Apple Vision Pro。
雖然這樣的人形機器人可以嘗試適當地模擬動作，但像 Nvidia 這樣的系統可以解釋使用者想要做什麼。由於使用者無法獲得機器人所持物品的觸覺回饋，因此直接模擬手部動作可能非常危險。
Siggraph 上演示的其他遠端操作工作流程也允許開發人員創建大量運動和感知數據。所有這些都是由人類遠端拍攝的少量演示組成的。
在本次示範中，Apple Vision Pro 用於捕捉人的手部動作。然後，使用 Micro Service MimicGen NIM 和 Nvidia Isaac Sim 使用該運動來模擬錄音，產生合成資料集。
然後，開發人員可以結合真實資料和合成資料來訓練 Project Groot 的人形模型。此過程被認為有助於減少從頭開始建立資料所花費的成本和時間。
傅立葉機器人平台製造商執行長 Alex Gu 表示：“開發非常複雜的人形機器人需要大量的真實數據，而這些數據很難從現實世界中獲取。” “生成式 AI 開發工具和新的 Nvidia 模擬將有助於加快我們模型開發的工作流程。”
微服務以及對模型、OSMO 管理的機器人服務和其他框架的存取都在 Nvidia 人形機器人開發人員計劃下提供。該公司僅向軟體開發商、硬體或人形機器人製造商提供存取權限。
英文、中文、日文、阿拉伯文、法文版本由AI自動產生。因此翻譯可能仍然存在不準確之處，請始終將印尼語視為我們的主要語言。 （DigitalSiber.id 支援的系統）
]
新的 Omniverse Cloud API 可讓開發人員將互動式工業數位孿生串流傳輸到 Apple Vision Pro 中。
NVIDIA 正在將基於 OpenUSD 的 Omniverse 企業數位孿生引入 Apple Vision Pro。
今天在NVIDIA GTC 上宣布，基於Omniverse Cloud API 或應用程式介面建置的新軟體框架可讓開發人員輕鬆地將其通用場景描述(OpenUSD) 工業場景從內容建立應用程式傳送到NVIDIA 圖形交付網路(GDN )，全球圖形就緒資料中心網絡，可以將先進的 3D 體驗傳輸到 Apple Vision Pro。
在全球人工智慧大會上發布的演示中，NVIDIA 展示了一個互動式、實體精確的汽車數位孿生，完全保真地傳輸到 Apple Vision Pro 的高解析度顯示器。
示範中，設計師穿著 Vision Pro，使用由 CGI 工作室 Katana 在 Omniverse 平台上開發的汽車配置器應用程式。設計師切換油漆和裝飾選項，甚至進入車輛 - 透過將 3D 逼真環境與物理世界融合，利用空間運算的力量。
將 RTX 企業雲端渲染的強大功能引入空間運算
空間運算已成為一種強大的技術，可在人、產品、流程和實體空間之間提供沉浸式體驗和無縫互動。工業企業用例需要令人難以置信的高解析度顯示器和以高幀速率運行的強大感測器，以使製造體驗更加真實。
這個基於 Omniverse 的全新工作流程將 Apple Vision Pro 突破性的高解析度顯示器與 NVIDIA 強大的 RTX 雲端渲染相結合，只需裝置和網路連線即可提供空間運算體驗。
這種基於雲端的方法允許即時基於物理的渲染無縫傳輸到 Apple Vision Pro，提供高保真視覺效果，而不會影響大量工程保真度資料集的細節。
視覺產品集團副總裁Mike Rockwell 表示：「Apple Vision Pro 突破性的超高解析度顯示器與NVIDIA 加速運算串流的OpenUSD 內容的真實感渲染相結合，為推進沉浸式體驗帶來了絕佳的機會。 “空間運算將重新定義設計師和開發人員構建迷人數位內容的方式，推動創造力和參與度的新時代。”
NVIDIA 模擬副總裁 Rev Lebaredian 表示：“Apple Vision Pro 是首款不受束縛的設備，讓企業客戶能夠毫不妥協地實現他們的工作。” “我們期待我們的客戶能夠使用這些令人驚嘆的工具。”
該工作流程還引入了混合渲染，這是一種在設備上結合本地和遠端渲染的突破性技術。使用者可以使用來自 GDN 的 Omniverse RTX 渲染器串流，透過 Apple 的本機 SwiftUI 和 Reality Kit 在單一應用程式中渲染完全互動的體驗。
NVIDIA GDN 在 130 多個國家/地區推出，利用 NVIDIA 的全球雲端到邊緣串流基礎架構來提供流暢、高保真的互動式體驗。透過將繁重的運算任務轉移到 GDN，使用者可以處理最苛刻的渲染用例，無論資料集的大小或複雜程度如何。
增強跨用例的空間運算工作負載
基於 Omniverse 的工作流程顯示出廣泛用例的潛力。例如，設計人員可以使用該技術以完全保真度查看 3D 數據，而不會造成品質損失或模型抽取。這意味著設計人員可以與外觀和行為類似於真實實體產品的值得信賴的模擬進行互動。這也為電子商務體驗開啟了新的管道和機會。
在工業環境中，工廠規劃人員可以查看完整的工程工廠資料集並與之交互，從而優化工作流程並識別潛在的瓶頸。
對於開發人員和獨立軟體供應商，NVIDIA 正在建立一些功能，使他們能夠使用 Apple Vision Pro 上的本機工具與應用程式中的現有資料無縫互動。
了解有關 NVIDIA Omniverse 和 GDN 的更多信息，並註冊以獲得有關 NVIDIA Omniverse 串流傳輸到 Apple Vision Pro 的通知。
]
如果您透過我們的連結購買，我們可能會獲得佣金。閱讀我們的道德政策
由 Apple Vision Pro 控制的機器人 [Nvidia]
Nvidia 的一項新控制服務可讓開發人員進行涉及人形機器人的項目，並使用 Apple Vision Pro 進行控制和監控。
開發人形機器人面臨許多挑戰，其中之一是控制高科技設備的本質。為了在這一領域提供幫助，Nvidia 提供了許多用於機器人模擬的工具，包括一些輔助控制工具。
輝達向主要機器人製造商和軟體開發商提供的這套模型和平台旨在幫助訓練新一代人形機器人。
該工具集包括 Nvidia 所說的 NIM 微服務和框架，用於模擬和學習。還有 Nvidia OSMO 編排服務，用於處理多階段機器人工作負載，以及支援人工智慧和模擬的遠端操作工作流程。
作為這些工作流程的一部分，耳機和 Apple Vision Pro 等空間運算設備不僅可以用來查看數據，還可以用來控制硬體。
輝達執行長兼創始人黃仁勳表示：“人工智慧的下一波浪潮是機器人技術，而最令人興奮的發展之一是人形機器人。” “我們正在推進整個 NVIDIA 機器人堆疊，為全球人形開發者和公司開放使用最適合他們需求的平台、加速庫和 AI 模型的機會。”
Apple Vision Pro 控制
NIM 微服務是使用 Nvidia 推理軟體的預先建置容器，旨在減少部署時間。其中兩個微服務旨在幫助開發人員在 Nvidia Isaac SIM（參考應用程式）中實現產生實體 AI 的模擬工作流程。
其中一個是 MimicGen NIM 微服務，主要用於幫助使用者使用 Apple Vision Pro 或其他空間計算設備控制硬體。它根據「記錄的遠端操作數據」為機器人產生合成運動數據，將 Apple Vision Pro 的運動轉換為機器人要做的運動。
影片和影像顯示，這不僅僅是根據耳機的移動來移動相機。結果表明，基於 Apple Vision Pro 的感應器，手部動作和手勢也會被記錄和使用。
實際上，使用者可以觀看機器人的動作並直接控製手和手臂，所有這些都可以使用 Apple Vision Pro。
雖然這類人形機器人可以嘗試精確地模仿手勢，但像 Nvidia 這樣的系統可以推斷使用者想要做什麼。由於使用者無法獲得機器人所持物品的觸覺回饋，因此直接模仿手部動作可能太危險。
Siggraph 演示的另一個遠端操作工作流程也允許開發人員創建大量運動和感知資料。所有這些都是由人類遠端拍攝的少量演示創建的。
在這些示範中，Apple Vision Pro 用於捕捉人手的動作。然後使用 MimicGen NIM 微服務和 Nvidia Isaac Sim 來模擬錄音，產生合成資料集。
然後，開發人員能夠結合真實資料和合成資料來訓練 Project Groot 人形模型。人們認為這個過程首先有助於降低創建資料所花費的成本和時間。
機器人平台製造商 Fourier 的執行長 Alex Gu 表示：“開發人形機器人極其複雜，需要大量從現實世界中採集的真實數據。” “NVIDIA 的全新模擬和生成式 AI 開發工具將有助於引導和加速我們的模型開發工作流程。”