在真實物理世界中訓練機器人，不僅進展緩慢、成本高昂，而且難以規模化。機器人研究人員在開發 AI 策略 (Policies) 時，十分仰賴高品質資料，尤其是針對複雜任務，例如抓取柔性物體或在雜亂環境中自主移動。這些任務仰賴機器人所用的感測器、馬達和其他元件所擷取的資料。然而，在現實世界中生成這些資料既耗時，又需要大量的硬體基礎設施。
模擬 (Simulation) 提供了一種可規模化的替代方案。透過平行執行多個機器人運動場景，團隊可以顯著壓縮資料採集時間。然而，大多數模擬環境都面臨取捨：要麼側重執行效能，要麼側重物理精度。
高保真 (High-fidelity)、貼近真實世界的模擬模型，往往需要龐大的運算資源和漫長的執行時間。這種模擬儘管精度極高，但速度緩慢，產生的資料有限，降低了其效用。為提升速度，許多開發者選擇簡化模型，但這會導致訓練與部署之間脫節，即業界所稱的「模擬到現實的差距 (Sim-to-real gap)」。其結果是，僅在模擬環境中訓練的機器人在現實場景下常常表現不佳。面對包含雜訊、干擾和缺陷的真實感測器資料時，其行為策略容易失效。
為了應對這一挑戰並加快模擬速度，ADI 公司開發了一種基於機器學習的代理模型 (Surrogate model)。在我們的測試中，該模型能夠以近乎即時的效能模擬間接飛行時間 (iToF) 感測器的行為，同時保留真實感測器輸出的關鍵特性。該模型為機器人策略的規模化、真實場景訓練帶來了真正的突破性加速，同時為複雜模擬開闢了前進之路。
實現真實世界精度水準的感測器模擬
在機器人感知領域，iToF 感測器（如 ADI 的 ADTF3175）已是常見配置。此類感測器會發射規律性的光訊號，然後透過計算光的反射資料來實現深度測量。在現實世界中，感測器會產生讀出雜訊 (Readout noise)，為了訓練出可靠的機器人策略，必須將這種干擾考慮在內。然而，大多數模擬環境提供的是理想化的感測器資料。以 NVIDIA 的 Isaac Sim™ 為例，其提供的深度圖基於幾何形狀，而非基於現實世界感測器的帶雜訊輸出。
針對這一不足，ADI 此前開發了一種基於物理機制的模擬器，它能對 iToF 感測器的行為進行像素級建模。雖然該模擬器精度極高，但速度過於緩慢，不適合全幀 (Full-frame) 即時使用。其幀率僅為 0.008 FPS，遠不足以支援需要每秒生成成千上萬個場景的 AI 策略訓練任務。
利用機器學習加速模擬
突破源於將機器學習用於模擬高保真模擬器的輸出。我們訓練了一個多層感知器 (MLP) 模型作為代理，以模擬精確白箱模擬器 (White-box simulator) 的行為。尤為重要的是，團隊設計的這個替代模型不僅要學習平均輸出，還要反映原始模擬器的變異性和雜訊特性。
代理模型將任務分解為三個子任務：
-
預測理應得到的深度測量值。
-
考量不確定性，估算標準差。
-
預測像素的深度測量值是否會無效或無法解析。
代理模型利用此機率輸出捕捉原始模擬器的核心隨機行為，同時大幅加快推論 (Inference) 速度。最終得到的模擬執行速度為 17 FPS。這樣的速度足以滿足即時使用需求，同時與高保真模型相比，誤差可保持在約 1%。
在 Isaac Sim 中進行現實世界驗證
建構代理模型後，團隊將該模型整合到 NVIDIA 的 Isaac Sim 環境中。針對機械臂執行插銷裝配任務的數位孿生 (Digital twin) 測試表明，該模型與原始模擬器輸出高度吻合。輸出甚至包含了標準模擬中不存在的雜訊。
真實 iToF 感測器對近紅外線 (NIR) 範圍內的光學效應很敏感，而這一特性在標準模擬中常常被忽略。此外，iToF 效能會因表面材料的不同而有所差異。為了確保代理模型能夠刻畫這兩種行為，團隊採用了快速替代推論方法，並調整了所模擬物體的 NIR 反射率，從而更準確地重現感測器在物理實驗中的行為。
該技術有效降低了模擬資料與真實感測器資料之間的不一致性，尤其是在消光 (Matte) 表面場景中。這些改進儘管仍不完善，但在縮小模擬與現實之間的差距方面已取得了顯著成效。團隊正在積極探索其他改進措施，包括對底層物理模型和圖形處理流程 (Graphics pipeline) 進行調整。
下一步：提高保真度與泛化能力
該代理模型為機器人訓練工作流程中的 iToF 感測器模擬提供了一個基礎框架，使快速且逼真的模擬成為可能。但這只是探索的第一步。接下來的研究將借助物理資訊神經算子 (PINO) 模型，在提高模擬精度的同時，減少對大量訓練資料的依賴，並實現對多種場景和任務的有效泛化 (Generalization)。
未來的目標是消除對中間白箱模擬器的需求。透過直接使用真實世界的感測器資料來訓練模型，模擬器可以更容易適應各種環境，而無需手動調整或針對特定場景進行校正。
這些進展有望大幅縮短機器人系統落地所需的時間，並顯著降低部署成本。理想情況下，這項工作將推動機器人在物流、製造、產品檢測等領域，乃至更廣泛產業中的應用。
Franka FR3 模擬場景的 ToF ML 代理模型輸出
