Xsens×Manus為何能在最短時間內實現高精度動作捕捉？機器人訓練的新可能
- 17小时前
- 讀畢需時 6 分鐘
如果讓人類直接操作機器人，哪一種方式最有效？
這看似是一個單純的操作問題，實際上卻牽涉到機器人如何理解人的動作、如何執行複雜任務，以及未來能不能從人類示範中學習。
近期的 TeleOpBench 研究，便從這個問題出發，建立了一套針對雙臂機器人遙操作的 Benchmark，試圖用一致的方式比較不同遙操作方法的表現。
其中一套方案採用了 Xsens Link 搭配 Manus Gloves，分別捕捉操作人員的身體與手部動作。
而這個案例真正值得關注的地方，或許不只是「人可以透過 Motion Capture 控制機器人」，而是讓我們開始思考：
如果人的動作可以被完整記錄，那麼這些動作除了用來控制機器人之外，是不是也能成為機器人學習的資料？
這個問題，也讓 Motion Capture 的角色開始從傳統的虛擬製作與動作記錄，延伸到 Robot Teleoperation、Human Demonstration 與 Robot Training。
TeleOpBench：從模擬環境走向實際機器人操作
要比較不同的遙操作方式，首先需要一個公平且一致的測試環境。
TeleOpBench 研究團隊在 NVIDIA Isaac Sim 中建立 Benchmark，讓 Unitree H1-2、Fourier GR1-T2 與 Unitree G1 三款商用機器人，在相同的測試流程與評測指標下執行 30 項操作任務。
研究並沒有停留在模擬環境。團隊進一步將其中具代表性的任務帶入 User Study，並在實體雙臂機器人上進行驗證，讓研究結果可以從虛擬環境延伸到實際操作情境。
其中一套 Motion Capture 方案採用了 Xsens Link + Manus Gloves。
Xsens Link 負責捕捉操作人員的身體運動，Manus Gloves 則取得手部與手指動作，再將人體運動資訊轉換成機器人的操作輸入。
在 TeleOpBench 的測試中，Motion Capture 方案在任務精度與完成效率方面展現良好表現。
但比起單純比較哪一種遙操作方式更有效，這項研究更值得我們思考的是，人體動作本身，就可能是一種具有價值的機器人資料。
當一次遙操作，變成一次人類示範
在傳統的 Teleoperation 中，操作人員控制機器人完成任務，任務結束後，這次操作也就完成了。
但如果換一個角度來看，操作人員伸手拿取物品、移動手臂、調整手腕，再利用手指完成抓取，其實也是一次完整的人類操作示範。
如果這些動作被 Motion Capture 記錄下來，就能形成 Human Demonstration Data。
而這些資料記錄的並不只是「機器人最後做了什麼」，而是人類是如何完成這件事情的。
例如，人類拿起一個物品時，身體可能會先調整位置，手臂配合目標方向移動，手腕再微調角度，最後由手指完成抓取。
對人類而言，這些動作非常自然；但對機器人而言，這些連續的運動與協調關係，卻可能是學習操作行為的重要資訊。
因此，Teleoperation 的角色也開始出現變化。
它不只是讓人控制機器人，也可以讓人示範給機器人看。
從「控制機器人」走向「訓練機器人」
這也是 Xsens 在機器人領域中值得關注的發展方向。
如果一次遙操作可以成為一次示範，那麼大量操作就可能逐漸累積成一組 Motion Dataset。
這些資料可以經過整理與 Motion Retargeting，將人體的運動方式轉換到不同機器人的骨架與關節系統，再進一步導入模擬環境、AI 訓練或機器人控制。
這也是 Imitation Learning 的其中一種資料來源。
人類先完成任務，系統記錄操作過程，再利用這些示範資料協助 AI 理解人類完成任務時的動作模式。
因此，Xsens 所捕捉的已經不只是「人體怎麼動」，而是讓人類完成任務的經驗，有機會轉換成機器人可以使用的數位資料。
Xsens 在機器人訓練中的應用
從 TeleOpBench 的雙臂遙操作，到更廣泛的人形機器人訓練，Xsens 可以參與不同階段的開發流程。
Humanoid Robot Training
透過真人示範取得人體運動資料，協助建立人形機器人訓練所需的 Motion Dataset，讓機器人學習更自然的身體與操作行為。
Dual-Arm Teleoperation
透過人體動作控制雙臂機器人，讓操作人員能較直覺地完成雙手協作任務，同時取得操作過程中的動作資料。
Imitation Learning
利用人類示範資料，讓 AI 學習人類完成任務時的動作模式與行為策略。
Simulation Training
將人體動作資料導入機器人模擬環境，在虛擬場景中進行訓練與驗證，降低實體機器人反覆測試的成本。
Motion Retargeting
由於人體與機器人的身體比例、自由度與關節結構不同，需要透過 Motion Retargeting 將人體運動轉換成適合特定機器人執行的動作。
這些應用雖然不同，但核心概念很一致，讓人類的動作與操作經驗，可以被機器人理解與利用。
從雙臂操作，到人形機器人
TeleOpBench 聚焦的是雙臂機器人遙操作，但這套思維也可以延伸到更廣泛的人形機器人應用。
人形機器人的身體結構與人類相對接近，因此人類示範與機器人動作之間，也存在更多可以對應的可能性。
例如，人類可以示範如何拿取物品、使用工具、整理物件，甚至完成需要雙手協調的複雜任務。
透過 Motion Capture，這些原本只存在於人體上的操作經驗，可以被記錄、分析與轉換，進一步成為機器人訓練流程的一部分。
這也是為什麼 Human Demonstration 對人形機器人特別具有潛力。
Motion Capture 不只是「記錄動作」
過去，Motion Capture 的主要用途是將人體動作數位化。
但在 AI 與機器人快速發展的今天，一段人體動作可能具有更高的資料價值。
它可以是一段動畫 Motion，也可以是一筆遙操作資料；可以用於 Motion Retargeting，也可能成為 AI 模型訓練的素材。
換句話說，Motion Capture 正從單純的Capture Motion逐漸走向Capture Human Behavior。這種轉變，讓 Xsens 的應用場景從虛擬內容製作延伸到機器人開發。
從 Human Motion 到 Embodied AI
如果把視角再拉遠一些，這也與具身智能（Embodied AI）的發展密切相關。
機器人需要理解環境、理解任務，也需要知道如何在真實世界中採取行動。
視覺感測器可以提供環境資訊，語言模型可以協助理解任務，而人體動作資料則提供另一個重要面向：人類究竟是怎麼完成這個任務的？
當人體動作、AI 模型、模擬環境與機器人控制系統逐漸整合，機器人就有機會從真實的人類行為中取得更多學習素材。
在這個過程中，Xsens 不再只是傳統意義上的 Motion Capture 系統，也可以成為連接人類示範、AI 訓練與機器人行動的重要資料入口。
未來的機器人，不只是跟著人動
從 TeleOpBench 可以看到一個很有意思的轉變。
當一次遙操作可以成為一次人類示範，一次示範又可以成為訓練資料，那麼大量的人類操作經驗就有機會被保存下來，並進一步進入 AI 與機器人的訓練流程。
也許未來的人形機器人，不需要所有技能都從零開始學習。
它們可以先從人類示範中取得操作經驗，再透過 AI 與自身的訓練逐步建立更完整的能力。
而這也讓 Motion Capture 從「記錄人怎麼動」，走向另一個更大的可能：
讓機器人學習人類如何行動。
愛迪斯科技｜Xsens 機器人訓練整合方案
從人體動作捕捉到機器人訓練，中間需要的不只是單一設備，而是不同軟硬體與技術環節之間的整合。
愛迪斯科技以 Xsens Motion Capture 為基礎，協助研究機構、企業與開發團隊串接 Unity、Unreal、ROS 2、機器人控制系統與模擬平台，將人體動作資料導入遙操作、Motion Retargeting、模擬訓練與 AI 應用。
從真人示範開始，透過 Xsens 取得人體運動資料，再依照機器人的骨架與控制需求進行資料處理與動作轉換，最後導入模擬環境或實體機器人進行驗證。
相關應用涵蓋人形機器人動作資料蒐集、雙臂機器人遙操作、Imitation Learning、Robot Training 與具身智能研究等不同場景。
從讓機器人跟著人動，到讓機器人從人的動作中學習。
愛迪斯科技協助您將 Xsens 導入下一代機器人訓練與 AI 開發流程。
