?

跟蹤、標定和注冊是AR系統研究的三個核心問題。

1 攝像機標定

（1）標定內參數

攝像頭是基于視覺的AR系統的重要組件。所以在使用中必須先標定攝像頭的內參數。對于普通的攝像頭，可以采用matlab自帶的攝像頭標定工具箱來標定。不僅可以標定出攝像頭的內參數，還能標定出鏡頭畸變。該工具箱采用的是棋盤格標定法。

?

（2）校正鏡頭畸變

鏡頭畸變可以分為徑向畸變和切向畸變兩種。它們也都可以通過標定來確定畸變參數。鏡頭畸變是普遍存在的，所以在使用之前要記得先進行標定。

2 顯示器標定

（1）單點主動對準法

對于光學透射式頭盔顯示器，要進行AR開發的話，必須加上一個攝像頭。攝像頭與頭盔顯示器之間的位置關系需要標定。最常用的一種方法是單點主動對準法（SPAAM）。這個方法要求用戶佩戴頭盔顯示器，并且將屏幕上的一些十字光標與真實世界中的物體進行多次對齊，多次對齊需要通過頭部轉動完成。數據獲取后，通過DLT方法構建方程組求解投影矩陣。

（2）使用瞄準轉置

該方法需要將瞄準裝置與顯示器上的十字叉絲對準，而不是使用在SPAAM中用到的靜止標定點。這種瞄準裝置經常是作為AR設備的一部分，并且包括一個觸發器來確認對準完成。瞄準裝置有一個優勢，用戶不必再移動頭部來完成對準，取而代之的是，可以通過移動手臂來完成。

3 注冊

跟蹤系統在進行測量的時候，會存在測量誤差，導致位置估計不準。這種誤差會導致注冊的虛擬物體與真實物體之間會存在不匹配的情況。所以，在每一個步驟要嚴格控制誤差，不要讓誤差在后面的環節中傳播。

對于光學透射式增強現實來說，還有另一個非常重要的問題，那就是延遲。由于真實的環境背景是直接透射進人眼的，可以認為是零延遲的。但是虛擬信息是通過攝像頭捕捉環境，建立跟蹤注冊信息，然后渲染輸出到頭盔顯示器上。這個回路的處理時間導致虛擬信息的渲染比頭部轉動會有延遲。一個比較有效的方法是在視覺跟蹤的基礎上，加入高反應速度的IMU，對這種延遲進行補償。頭部的快速運動可以根據IMU的反饋來渲染圖像。

攝像頭標定本身已經是一個很成熟的領域了，除非有什么新的攝像頭類型推出。光學透射式頭盔顯示器的標定也比較成熟，但是還是存在問題。比如標定程序復雜，不同用戶之間通用性低。所以可以根據人眼與HMD之間的特殊性，研究提升標定效果的方法。另外，還可以考慮減小延遲，比如考慮視覺-IMU融合。這種方法已經在Hololens上獲得成功應用。減小延遲的方法除了使用視覺-IMU融合，應當還有別的途徑，這些都是值得研究的地方。