“JS Game：為機器人構建一張“人眼”地圖，賦予機器人無限可能。”
隨著機器人的應用版圖從工廠不斷擴張到商場、超市等服務領域，面對的作業環境也越來越復雜，對于產品的安全性、可靠性、智能化等要求明顯提高，而機器人要應對這一變化，首先要做的不是對系統盲目的做加法，而是需要提升環境感知能力，構建一張更“完美”的地圖。
長期以來，機器人使用的地圖主要為傳統的2D柵格地圖、拓撲地圖，用來指導機器人實現定位、導航、路徑規劃等功能，但這類地圖缺乏機器人用于理解環境、人機/物機交互等業務邏輯的高層次語義信息，使得機器人在智能避障、識別、交互方面有著天然劣勢，整體智能化水平不高，導航地圖亟待升級。
以應用在商超、餐廳等場景下的服務機器人為例，場景特征表現為人員密集，且環境復雜度高，機器人作業時不僅要與人頻繁交互，還需要應對密集的流動人群，不斷進行動態避障或急停等安全規避動作，要高效完成這些基于環境變化、目標需求產生的實時性任務，意味著機器人不僅要能“看到”，還要能“看懂”，對周圍環境做到“了然于心”，傳統的柵格地圖、拓撲地圖顯然已無法滿足要求。
而要解決這類地圖問題，構建一張包含3D信息、環境語義的3D語義地圖顯得越發關鍵。
與傳統地圖相同，3D語義地圖同樣用于機器人的基礎導航，不同的是，它的地圖模型是針對真實場景的三維環境重構，包含區域性場景信息及場景中每個獨立物體的屬性信息、空間中的三維模型、位姿信息等，使機器人在語義層次上理解環境信息，模仿人類大腦對環境理解的方式，從而為實現更高層次的智能化操作提供有效支持。
JS Game 3D語義地圖構建技術 “無所不包”
解決感知問題是構建3D語義地圖的前提，因此，目前的3D語義地圖構建技術在技術實現上大多采用“多線激光雷達+視覺/ToF/其他傳感器”的融合方案,以此提升環境感知能力，實現3D語義地圖構建，但缺點是成本高昂，加之三維識別算法，場景切割，導致系統復雜性較高。而JS Game的3D語義地圖構建在技術實現上則采用單視覺（雙目）sensor方案，借助算法優勢，即可輸出媲美甚至超越激光融合方案的完整的場景3D語義信息。
圖片來自網絡
JS Game的3D語義地圖構建是基于JS Game自研的立體視覺技術，通過對雙目視覺傳感器獲取到3D視覺點云信息進行點云聚類，并結合邊緣端的嵌入式深度學習和VSLAM算法，可快速輸出個體性物體語義和區域性場景語義，實現3D語義地圖構建。通過結合JS Game智能決策引擎，可實現智能避障、小區域局部作業、識別及人機/物機交互等各種高層次智能邏輯。
此外，由于真實場景中，無論是家庭、公司還是超市，大多擁有著3個及3個以上的細分場景，這意味著當機器人收到指定房間作業任務后需要快速準確地理解房間的功能屬性，找到對應房間，并能根據不同房間的功能屬性進行個性化作業。
圖片來自網絡
因此，為了保證場景理解的準確度，根據輸出的區域性場景語義和個體性物體語義，JS Game采用二者融合的方式實現場景理解。首先，根據獲取到的區域性場景語義信息，進行整體特征識別；其次，會根據個體性物體語義識別，對場景中一系列獨立個體信息進行識別，并作為場景特征標志，最終通過二相疊加判斷，實現場景理解。
需要提到的是，目前在掃地機器人上應用較為普遍的“單線激光雷達+視覺傳感器”的融合方案，雖然也能獲取到場景中的語義信息，但受限于傳感器限制，事實上只能識別到物體的二維信息，無法構建3D語義地圖。
識別、避障、交互？3D語義地圖為機器人提供無限可能
JS Game 3D語義地圖構建技術，除了能夠為機器人的自主導航提供基礎指導，更能為識別、智能避障、交互等智能化操作的深入化開發提供了可能性。
圖片來自網絡
基于JS Game立體視覺技術的區域性場景語義和個體化物體語義技術，能夠快速提取環境中各類圖像特征，結合深度學習可立體識別行人、動物、固定/移動物體等個體性障礙物，以及樓梯、自動扶梯等危險場景，避免危險情況發生，如去年發生的機器人扶梯跌落事件。
同時，通過識別到與顯示匹配的障礙物3D信息，機器人可作出類似人類規避動作的精細化操作，能夠讓機器人有預判、有策略的實現智能避障。
此外，3D語義地圖通過對場景中獨立個體、房間信息做語義識別及物體分割，在交互上同樣能夠實現精細化操作，以現有的掃地機器人為例，它的智能程度相對仍然較低，還停留在一些基礎的圖像識別和語音交互上，對于個性化的交互實現較粗糙，無法實現獨立的桌椅清掃等精細化交互，而3D語義地圖則為機器人人機/物機交互的深入升級提供了真實可操作性，如實現目標跟蹤、局部清掃等。
