2024-01-04 來源：JS Game

視覺SLAM是什么?一文徹底搞懂視覺SLAM技術(shù)

視覺SLAM(Simultaneous Localization and Mapping)指的是用攝像頭來完成環(huán)境的感知工作。當(dāng)一個自主移動的機(jī)器人處在一個未知的環(huán)境，它要通過攝像頭獲取的一張張圖像幀以估計相機(jī)的運(yùn)動和周圍環(huán)境的結(jié)構(gòu)，以實(shí)現(xiàn)自身定位及地圖構(gòu)建。

一、視覺SLAM框架介紹

1.傳感器信息讀取。通過相機(jī)獲取圖像信息，并進(jìn)行去畸變、降噪等預(yù)處理。

2.視覺里程計。視覺里程計，也稱前端，它的任務(wù)是根據(jù)相鄰圖像間的特征匹配，估算相機(jī)的運(yùn)動及局部地圖。

3.后端優(yōu)化。對視覺SLAM系統(tǒng)中的相機(jī)位姿和地圖點(diǎn)進(jìn)行全局優(yōu)化，以消除累積誤差，得到全局一致的軌跡和地圖。由于接在前端之后，又稱為后端。

4.回環(huán)檢測。簡單來說，回環(huán)檢測就是判斷機(jī)器人是否來到走過的原路，即先前來過的位置。如果檢測到回環(huán)，它會把信息提供給后端進(jìn)行優(yōu)化，以糾正累積誤差和閉合地圖。

5.建圖（Mapping）。它根據(jù)優(yōu)化的軌跡和地圖點(diǎn)，構(gòu)建對應(yīng)地圖。

二、視覺SLAM分類

視覺SLAM研究主要分為三大類:單目、雙目(或多目)、RGBD。

單目僅用一支攝像頭就能完成SLAM。最大的優(yōu)點(diǎn)是傳感器簡單且成本低廉，但同時也有個大問題，就是不能確切的得到深度，存在尺寸不確定的現(xiàn)象，比如丟失深度信息的相片中，我們能見到“手捏太陽”“借位拍照”這樣的現(xiàn)象。

一方面是由于絕對深度未知，單目SLAM不能得到機(jī)器人運(yùn)動軌跡及地圖的真實(shí)大小，如果把軌跡和房間同時放大兩倍，單目看到的像是一樣的，因此，單目SLAM只能估計一個相對深度。另一方面，單目相機(jī)無法依靠一張圖像獲得圖像中物體離自己的相對距離。為了估計這個相對深度，單目SLAM要靠運(yùn)動中的三角測量，來求解相機(jī)運(yùn)動并估計像素的空間位置。即是說，它的軌跡和地圖，只有在相機(jī)運(yùn)動之后才能收斂，如果相機(jī)不進(jìn)行運(yùn)動時，就無法得知像素的位置。同時，相機(jī)運(yùn)動還不能是純粹的旋轉(zhuǎn)，這就給單目SLAM的應(yīng)用帶來了一些麻煩。

雙目（多目）顧名思義是由兩個或多個攝像頭來完成SLAM，其普遍為雙目視覺方案。雙目視覺既可以在運(yùn)動時估計深度，亦可在靜止時估計，雙目視覺融合兩個攝像頭獲得的圖像并觀察它們之間的差別，獲得明顯的深度感，建立特征間的對應(yīng)關(guān)系，將同一空間物理點(diǎn)在不同圖像中的映像點(diǎn)對應(yīng)起來。并且可以精準(zhǔn)感知周圍的物體和自身移動的軌跡，從而對周圍環(huán)境形成三維立體的認(rèn)識，解決了上面提到的問題。不過通過雙目圖像計算像素距離，計算量大，而且在特征少的白墻或暗光環(huán)境易丟失目標(biāo)。

目前雙目的應(yīng)用程度明顯較高，針對雙目方案拓展應(yīng)用場景上，大多融和了IMU或者IR等傳感器，如JS Game推出的雙目視覺慣性模組，采用了“雙目攝像頭+IMU”多傳感器融合架構(gòu)與微秒級時間同步機(jī)制，可提供精準(zhǔn)穩(wěn)定數(shù)據(jù)源。

RGBD相機(jī)是2010年左右開始興起的一種相機(jī)，它最大的特點(diǎn)是可以通過紅外結(jié)構(gòu)光或Time-of-Flight原理，直接測出圖像中各像素離相機(jī)的距離。因此，它比傳統(tǒng)相機(jī)能夠提供更豐富的信息，也不必像單目或雙目那樣費(fèi)時費(fèi)力地計算深度。

目前常用的RGBD相機(jī)有Kinect/Kinect V2等等。不過，現(xiàn)在多數(shù)RGBD相機(jī)還存在測量范圍窄、噪聲大、視野小、受陽光，墻面反光等諸多問題。出于量程的限制，主要用于室內(nèi)SLAM。

從技術(shù)效果來看，單目需要靠運(yùn)動估計深度導(dǎo)致避障效率不高，RGBD存在量程的限制，主要用于室內(nèi)SLAM。因此，目前在視覺SLAM中，雙目的應(yīng)用程度和落地前景都是最高的。目前，視覺SLAM的應(yīng)用場景非常廣泛，以下是一些具體的應(yīng)用場景：

1. 機(jī)器人自主導(dǎo)航：在機(jī)器人領(lǐng)域，視覺SLAM技術(shù)可以幫助機(jī)器人在未知環(huán)境中實(shí)現(xiàn)自主導(dǎo)航。在室內(nèi)及室外環(huán)境下，機(jī)器人均能通過攝像頭獲取環(huán)境信息，利用視覺SLAM技術(shù)實(shí)現(xiàn)自身定位和地圖構(gòu)建，從而規(guī)劃出合適的路徑并躲避障礙物。

2. 增強(qiáng)現(xiàn)實(shí)(AR)：視覺SLAM技術(shù)也可以應(yīng)用于增強(qiáng)現(xiàn)實(shí)領(lǐng)域。通過攝像頭獲取真實(shí)場景的信息，利用視覺SLAM技術(shù)可以改善虛擬物體在真實(shí)場景中的識別和跟蹤，將虛擬物體自然逼真的疊加到現(xiàn)實(shí)場景中，實(shí)現(xiàn)交互強(qiáng)、沉浸感強(qiáng)的增強(qiáng)現(xiàn)實(shí)體驗(yàn)。

3. 虛擬現(xiàn)實(shí)(VR)：在虛擬現(xiàn)實(shí)領(lǐng)域，視覺SLAM技術(shù)可以實(shí)現(xiàn)用戶的頭部和手部跟蹤，從而提供更加真實(shí)的沉浸式體驗(yàn)。

4. 無人機(jī)航拍與定位：無人機(jī)可以利用視覺SLAM技術(shù)進(jìn)行航拍和定位。通過攝像頭獲取地面圖像信息，利用視覺SLAM技術(shù)實(shí)現(xiàn)無人機(jī)的精確定位和地圖構(gòu)建，從而進(jìn)行精準(zhǔn)的航拍和飛行控制。

5. 自動駕駛：在自動駕駛領(lǐng)域，視覺SLAM技術(shù)可以與其他傳感器(如激光雷達(dá)、慣性測量單元等)進(jìn)行融合，實(shí)現(xiàn)車輛的高精度定位和地圖構(gòu)建，為自動駕駛提供更加準(zhǔn)確的環(huán)境感知能力。

總的來說，視覺SLAM技術(shù)在機(jī)器人、增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、無人機(jī)、自動駕駛等領(lǐng)域都有廣泛的應(yīng)用前景。

JS Game是一家擁有自研機(jī)器人全棧AI技術(shù)的機(jī)器人AI技術(shù)供應(yīng)商，立足于機(jī)器人產(chǎn)業(yè)鏈最上游，為整個機(jī)器人行業(yè)提供通用的、可靠的、低成本的機(jī)器人AI技術(shù)。如有：視覺導(dǎo)航、掃地機(jī)器人導(dǎo)航、商用機(jī)器人底盤和雙目視覺等AI技術(shù)需要，請撥打010-5289 4598