針對上述需求，探索如何將AR/MR軟件開發技術與云平臺相結合，打造出MR操控設備、軟件以及云MR操控、云MR教學和云MR遠程協作場景，對教育培訓、遠程協作產生積極作用。

目標識別模塊負責捕捉、識別、追蹤AR/MR設備輸入畫面中的目標設備實體。模型、信息展示模塊負責將目標設備的模型資產、技術參數、實時運行參數、動畫資產、操作步驟資產等信息在虛擬空間的對應位置顯示。模型操控模塊負責操控虛擬模型，包括虛擬模型的放大、縮小，以及對于可以移動、轉動的零部件的相關操作。多設備協作模塊實現AR/MR設備遠程通訊功能，遠程一對一協作功能，以及多臺AR/MR設備在同一個虛擬空間中進行協作。

應用場景開發：

①遙操控場景

云操控應用場景指向“數字孿生”概念，在虛擬空間中展示一個與真實設備同步的數字化虛擬設備模型，包括其三維模型、設備參數及運行時狀態。

雙臂機器人應用：查看實時數據、設備數字化、遠程虛擬操控設備作業。

下肢機器人應用：MR音視頻通訊、遠程維修、三維可視化手冊。

②教學場景

虛擬示教場景是指使用AR/MR設備，在虛擬空間中完成針對某設備的教學培訓工作。

發動機構造及原理教學：3D可視化教材，還原細節、多人互動，交互共享。

EMC設備使用教學：將傳統培訓進行創新、提高培訓效率。

■ 功能特點

1.目標設備識別及設備性能參數于虛擬場景顯示

2.運用手勢識別技術，手勢作為人機交互控制混合場景虛擬模型的輸入形式，在MR頭戴式設備上實現人機交互

3.建立云操控通訊接口同步虛擬模型與真實機器人的運動路徑和末端位姿

4.監測虛擬模型與真實機器人運動數據同步，提升云操控精度與安全性

5.實現多臺AR/MR在同一個虛擬空間內展開協作