AR增強(qiáng)現(xiàn)實(shí)跟蹤技術(shù)有哪些?

Jyadmin 提交于 周一, 10/21/2019 - 11:26

?

跟蹤理論會(huì)涉及到一些空間坐標(biāo)轉(zhuǎn)換的基礎(chǔ)知識(shí),以攝像機(jī)跟蹤為例,分為模型坐標(biāo)空間、世界坐標(biāo)空間、攝像機(jī)坐標(biāo)空間和圖像坐標(biāo)空間。

1.固定式跟蹤系統(tǒng)

機(jī)械跟蹤器通過控制機(jī)械臂各個(gè)關(guān)節(jié)的轉(zhuǎn)動(dòng)來跟蹤機(jī)械臂末端的空間位置,屬于比較老的跟蹤方式,但是精度可以控制得比較高。

電磁跟蹤器是通過一個(gè)固定的發(fā)射源發(fā)射出三維正交的電磁場(chǎng),接收端通過檢測(cè)接收到的電磁場(chǎng)的方向和強(qiáng)度來確定位姿。

固定式跟蹤系統(tǒng)

?

超聲波跟蹤器則是通過測(cè)量一個(gè)聲音脈沖從發(fā)射源到傳感器的飛行時(shí)間來測(cè)量距離。

2.?移動(dòng)式傳感器

GPS,全稱是全球定位系統(tǒng)。這個(gè)系統(tǒng)在智能手機(jī)上應(yīng)用很普遍。它通過接收多顆衛(wèi)星信號(hào)來確定當(dāng)前所處的位置。對(duì)于戶外大范圍增強(qiáng)現(xiàn)實(shí)有著重要意義。

無線網(wǎng)是通過檢測(cè)移動(dòng)設(shè)備接入點(diǎn)信息來粗略確定移動(dòng)設(shè)備所處位置的。它可以配合GPS使用。

移動(dòng)式傳感器

?

磁力計(jì),也稱電子羅盤,通過檢測(cè)地球的磁場(chǎng)來確定方向。?

陀螺儀和線性加速度計(jì)都是依靠慣性來進(jìn)行測(cè)量的。陀螺儀測(cè)量三軸角度變化,線性加速度計(jì)測(cè)量位置變化。它們通常會(huì)配合使用,并且常以微機(jī)電系統(tǒng)(MEMS, Micro-Electro-Mechanical System)的形式存在。

里程計(jì)是通過輪式或者光電編碼器來測(cè)量所走過路程的一種傳感器,常用在機(jī)器人或者交通工具中。

3. 光學(xué)跟蹤技術(shù)

(1)跟蹤模式

有些跟蹤需要對(duì)被跟蹤的目標(biāo)預(yù)先建模,例如一些圖像跟蹤工具箱。有的則不需要提前建模,例如同步定位與跟蹤技術(shù)(SLAM)。多數(shù)跟蹤是需要提前建立一個(gè)待跟蹤模型數(shù)據(jù)庫的,然后在運(yùn)行中實(shí)時(shí)提取特征并且與數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比對(duì)。而SLAM則可以實(shí)時(shí)根據(jù)獲得的特征,自主建立空間地圖,并且確定攝像頭相對(duì)于環(huán)境的位置。

目前研究的比較火熱的是SLAM。因此,可以研究SLAM中的各個(gè)環(huán)節(jié),從跟蹤、建圖、回環(huán)檢測(cè)等角度研究如何提升SLAM系統(tǒng)的精度,以及面對(duì)復(fù)雜環(huán)境的穩(wěn)定性問題。

光學(xué)跟蹤技術(shù)

?

(2)照明種類

跟蹤的穩(wěn)定性與環(huán)境光有關(guān),尤其是基于視覺的跟蹤。有些跟蹤系統(tǒng)不需要自主添加光源,只是利用環(huán)境光,稱為被動(dòng)照明;有些跟蹤需要主動(dòng)發(fā)射某種照明光線,來實(shí)現(xiàn)其跟蹤,稱為主動(dòng)照明。被動(dòng)照明是比較常見的,例如平面標(biāo)志跟蹤就是在普通的環(huán)境照明下實(shí)現(xiàn)的。主動(dòng)照明最典型的就是結(jié)構(gòu)光照明,例如Kinect。還有一種主動(dòng)發(fā)射紅外光的OptiTrack系統(tǒng),做姿態(tài)跟蹤效果很好。

(3)人工標(biāo)志與自然特征

人工標(biāo)志指的是人造的用于跟蹤的圖像標(biāo)志等。例如二維碼、棋盤格等。自然特征指的是自然環(huán)境中本身就有的特征,不是人為放置用來跟蹤的特征。普通的室內(nèi)環(huán)境、街邊的樓宇都可以認(rèn)為是自然特征。人工標(biāo)志根據(jù)其種類不同,需要特定針對(duì)性算法進(jìn)行檢測(cè)和跟蹤,自然特征通常使用SIFT、SURF、ORB等特征描述子來進(jìn)行特征提取和跟蹤。

人工標(biāo)志與自然特征

?

4.傳感器融合

互補(bǔ)式融合:不同的傳感器測(cè)量的是不同種類的參數(shù),可以互相補(bǔ)充。

競(jìng)爭(zhēng)式融合:不同傳感器測(cè)量的是同一個(gè)種類的參數(shù),則使用某種方式將它們結(jié)合起來,產(chǎn)生一個(gè)更好的測(cè)量結(jié)果。

協(xié)作式融合:不同傳感器之間是協(xié)作關(guān)系,其中某個(gè)傳感器可能依賴于其他的傳感器才能得出結(jié)果。

跟蹤技術(shù)研究,不僅可以服務(wù)于增強(qiáng)現(xiàn)實(shí),也可以服務(wù)于虛擬現(xiàn)實(shí),以及其他需要用到該技術(shù)的領(lǐng)域。研究跟蹤技術(shù),可以從多視圖幾何方向入手,通過幾何的方式來估計(jì)位姿。也可以從特征角度入手,針對(duì)特定的問題,設(shè)計(jì)不同的特征表述方式,解決問題。

SLAM研究者們通常會(huì)考慮怎樣建立更加穩(wěn)健的SLAM系統(tǒng),怎樣對(duì)抗真實(shí)環(huán)境中的噪聲,怎樣進(jìn)行更好的回環(huán)檢測(cè)等。研究慣性測(cè)量單元(IMU)與視覺融合進(jìn)行SLAM的也大有人在,多傳感器數(shù)據(jù)融合對(duì)于SLAM來講有重要的意義。