人型機器人（Humanoid robot）並非透過單一感測器或單一決策節點來感知世界。它是經由橫跨全身上下、運作於感測器、運算節點（Compute nodes）與致動器（Actuators）之間持續不間斷的資訊流，在極其精準的時間點進行感知、解讀並做出反應。
本篇部落格重點探討機器人如何透過多模態（Multiple modalities）感知世界，以及高效能通訊連線（High-performance connectivity）如何將這些數據流同步為對周遭環境統一且時間一致（Time-coherent）的理解。這是我們在先前的文章中探討了物理智慧（Physical intelligence）如何從即時感測、分散式運算與確定性控制中湧現之後的下一個關鍵基礎層。現代人型機器人絕非孤立運作的機械，而是網路化（Networked）的多模態智慧平台，其能力取決於感測、致動與高效能通訊的深度融合。這種技術的會通融合，正在重新定義機器人在人類環境中能安全且可靠執行的任務範疇。
為什麼多模態感知（Multimodal Perception）不可或缺？
人類不會只依賴單一感官來理解周遭環境。我們在移動時，會持續整合視覺、聽覺、觸覺、平衡感與本體感覺（Proprioception），以維持對整體環境的感知。
在真實世界且與人類共享的環境中運作的機器人，也必須具備相同能力。面對複雜混沌的現實環境，單一感測模態（Sensor modality）絕不足以應付。現代人型機器人（Humanoids）正日益普遍地融合以下多元感測資訊：
-
視覺（Vision）： 用於空間理解與語意情境辨識（Semantic context）
-
深度感測（Depth sensing）： 用於幾何形貌與距離測量
-
聲音（Audio）： 用於意圖識別、異常檢測以及視線外（Out-of-view）的周遭感知
-
觸覺感測（Tactile sensing）： 用於精細操作與接觸感知
-
慣性測量單元（IMU）與關節編碼器（Joint encoders）： 用於維持平衡、姿態定向與本體感覺
-
力與扭力感測（Force and torque sensing）： 用於安全互動與負載感知
每一種感測模態都能補足其它感測器的局限性。它們協同運作，能讓機器人在高速運動、強光眩光、遮蔽（Occlusion）、雜亂環境、雜訊干擾以及不確定因素下，依然維持強健的感知能力。人型機器人唯有先具備智慧、連續且結合情境的感知能力，才能進一步展現出真正的智慧行動。
