增強現實技術(Augmented Reality，簡稱AR)是虛擬現實技術的一個重要分支，它將虛擬圖形環境與現實環境融為一體，使用戶從感官上確信虛擬環境是其真實環境的組成部分。增強現實技術的三大特性是虛實結合、實時交互和三維尺度上的匹配，這主要通過顯示技術、交互技術、多種傳感技術和計算機圖形與多媒體技術等的結合來實現。
為了能產生有機融合的虛實場景，增強現實系統主要需解決增強現實環境的視覺一致性問題，包括：幾何一致性、運動一致性、光學效果一致性和渲染細節分配等。所謂幾何一致性，就是指無論在虛擬環境中靜止或漫游，實體對象都應與集成的圖像保持透視關系一致性；而所謂運動一致性，就是指當虛擬環境中的對象作出諸如平移或旋轉等運動時，模型的尺寸和視角都應隨時與靜止圖像建立的虛擬環境保持一致；光學效果一致性則是指虛擬對象的陰影、高光等光學效果應與環境保持一致，其基本思路是首先恢復出真實場景的光照模型，然后再計算對虛擬對象的影響，如明暗、陰影、反射等，這通常要在場景中放置鏡面反射物體(如鏡面球等)以獲取光照信息，或者用陰影投射區域等進行光照估計；渲染細節分配是指圖像間、模型對象間、以及圖像與模型對象之間渲染精度的合理分配，主要是動態規劃繪制細節水平的問題，目前在實際AR系統中需求不高。
增強現實系統的研究需涉及許多關鍵技術，如顯示技術、跟蹤注冊技術(registration)、界面與可視化技術和相機標定(calibration)技術等。其中，跟蹤注冊技術決定了系統的幾何一致性，關鍵在于如何能精確計算實景相機的位置和參數，將虛擬對象以適當的大小和正確遮擋關系加入到場景中的適當位置。增強現實系統的綜合性能主要由其注冊精度和系統延遲來決定，根據不同的AR應用背景有不同的需求。
本文首先給出了增強現實系統的總體結構，然后在此基礎上重點論述了顯示技術和跟蹤注冊技術的相關方法及其各自的特性和應用場合，最后對增強現實的當前應用和未來趨勢做出了概要總結。
1、增強現實系統的總體結構
如圖1所示，一個典型的增強現實系統通常由場景采集系統、跟蹤注冊系統、虛擬場景發生器、虛實合成系統、顯示系統和人機交互界面等多個子系統構成。其中，場景采集系統負責獲取真實環境中的信息，如外界環境圖像或視頻；跟蹤注冊系統用于跟蹤觀察用戶的頭部方位和視線方向等；虛擬圖形繪制系統負責生成要加入的虛擬圖形對象；虛實合成系統是指虛擬場景與真實場景對準的定位設備和算法。
圖1 強現實系統基本功能結構圖
由圖1可知，增強現實系統中，輸入圖像經過處理組織建立起實景空間，計算機生成虛擬對象依幾何一致性嵌入實景空間中，形成虛實融合的增強現實環境；這個環境再輸入到顯示系統呈現給用戶；最后用戶通過交互設備與場景環境進行互動。其中，讓虛實準確結合的注冊步驟非常關鍵，和最后的顯示輸出端一起，決定了用戶對環境的最終感知效果，所以下面將重點對這兩項技術進行詳細論述。
2、增強現實系統的關鍵技術
2.1顯示技術
增強現實系統中的顯示器可以分為頭盔顯示器(HMD)和非頭盔顯示設備。目前，一般的增強現實系統主要使用透視式頭盔顯示器。透視式頭盔顯示器主要由三個基本環節構成：虛擬信息顯示通道、真實環境顯示通道、圖像融合及顯示通道。其中，虛擬信息的顯示原理與虛擬現實系統所用的浸沒式頭盔顯示器基本相同；圖像融合與顯示通道是與用戶交互的最終接口，根據其中真實環境的表現方式，可分為基于CCD攝像原理的視頻透視式頭盔顯示器和基于光學原理的光學透視式頭盔顯示器兩類。
視頻透視式頭盔顯示器首先由安裝在頭盔上的兩個微型CCD攝像機攝取外部環境的圖像，然后將計算機圖形學生成的信息或圖像疊加在攝像機視頻上，通過視頻信號融合器實現計算機生成的虛擬場景與真實場景融合，最后通過顯示系統呈現給用戶。光學透視式頭盔顯示器則通過一對安裝在眼前的半透半反的光學合成器實現對真實環境與虛擬信息的融合：真實場景直接透過半反半透鏡呈現給用戶，經過光學系統放大的虛擬場景經半反半透鏡反射而進入眼睛。
視頻透視式和光學透視式HMD在注冊精度、系統延遲、真實場景的分辨率和失真、視場等方面都有不同表現。光學透視式頭盔顯示器對真實環境幾乎無損顯示，用戶獲得的信息比較可靠全面，但真實環境與虛擬圖像的融合困難；視頻透視式頭盔顯示器對真實環境的復現受到很多因素的限制，但真實環境與虛擬圖像的融合卻容易了很多。
非頭盔式的顯示設備一般包括手持顯示器(Hand-Held Displays)、CRT或平面LCD顯示器、投影成像系統、自由立體顯示器以及一些特殊場合專用的顯示設備。其中較特別的有頭戴式投影器、眼鏡式顯示器和視網膜投影顯示等。
在實際應用中，顯示設備的選用主要依據運用的環境和任務而定：一般說來，頭盔式顯示設備受環境約束較小，室內戶外均可以使用，設備價格適中，沉浸感較好；非頭盔式的顯示設備一般成本較高(除一般的CRT或LCD顯示器以外)，可多人共享，使用性能穩定、壽命較長，而且免除了使用者由于帶頭盔顯示設備而造成的不適與疲勞感。
2.2跟蹤注冊技術
增強現實系統的跟蹤注冊包含使用者頭部(攝像機)的空間定位跟蹤和虛擬物體在真實空間中的定位兩個方面的內容，關系到虛擬和真實對象的配準、排列。對用戶頭部相對位置和視線方向的獲取一般可分為兩種：一種是采用跟蹤傳感器進行注冊，簡稱跟蹤器法；一種是采用計算機視覺系統結合特定算法來實時得到，簡稱視覺法。在實際應用中，由于這兩種方法各有其優缺點，為了得到更廣泛的適應性和更好的性能，許多系統采用將兩者相結合的復合方法。此外，還有基于認知(Knowledge Based)的方法，該法通過在用戶頭部和相關對象關鍵部位安裝三維跟蹤器來實現，但因為要事先了解對象結構并安裝跟蹤器，使之應用范圍受到限制，本文中不作介紹。
2.2.1基于跟蹤器的注冊
基于跟蹤器的注冊方法普遍采用慣性、超聲波、電磁、光學、無線電波或機械裝置等進行跟蹤。其中，慣性導航裝置通過慣性原理來測定使用者的運動加速度，通常所指的慣性裝置包括陀螺儀和加速度計；超聲波系統利用測量接收裝置與3個已知超聲波源的距離來判斷使用者位置；電磁裝置通過感應線圈的電流強弱來判斷用戶與人造磁場中心的距離，或利用地球磁場判斷目標的運動方向；光學系統使用CCD傳感器，通過測量各種目標對象和基準上安裝的LED發出的光線來測量目標與基準之間的角度，并通過該角度計算移動目標的運動方向和距離；機械裝置則是利用其各節點問的長度和節點連線間的角度定位各個節點。這些跟蹤技術共同的問題就是自身應用領域的局限性。例如，電磁跟蹤器只能在事先預備的磁場或磁性引導環境下工作；GPS和電磁跟蹤都不夠精確，機械跟蹤系統笨重不堪；適用于室內的跟蹤系統不一定能在戶外正常發揮作用等等。總之，沒有完美的選擇。因而對增強現實系統來說并沒有單一完美的跟蹤解決方案，跟蹤系統可以結合其中的兩三種跟蹤傳感器以相互補償大延時、低刷新率甚至暫時的失效。
然而，對于一個實際的增強現實系統，僅僅根據頭部跟蹤系統提供的信息，系統沒有反饋難以取得最佳匹配；而且跟蹤器法的精度和使用范圍都不能滿足增強現實的需要，又容易受到外界干擾，因而幾乎不可能單獨使用，通常與下面將要介紹的視覺注冊方法結合起來實現穩定的跟蹤。
2.2.2視覺跟蹤注冊
目前，視覺跟蹤注冊主要有基準點法、模版匹配法、仿射變換法和基于運動圖像序列的方法等。
其中，基準點方法需事先對相機進行定標(獲取4個內部參數)，并設置相應的標記或基準點，然后對獲取的圖像進行分析，以計算相機的位置和姿態(獲取6個外部參數)。其原理是先從圖像中提取一些已知的對象特征點，找到真實環境和圖像中對應點的相關性，然后由相關性計算出對象姿態，這個過程也就是對從世界坐標轉換到攝像機坐標的模型視圖矩陣的求解過程。通常，特征點可以由孔洞、拐點或人為設置的標記來提供。其中，對于人為標記的特征點，若按照顏色劃分則有黑白與彩色兩種情況，而按照形狀劃分則有圓形、同心圓環、多邊形(包括三角形、方形、五邊形等)和條形碼等。黑白標志可在圖像二值化后用相應算法提取，相對來說彩色標志通過色彩分量提取更容易，但同時也易受到光照條件、相機本身質量和觀察角度方向等的影響；圓形和同心圓環基于本身幾何特性對觀察方向的改變很穩定，但是用于作為特征點的中心位置就較難以精確確定；多邊形標記采用拐角作為特征點，位置信息更為精確，但往往需要額外途徑或信息以使各拐角特征點相互區別，而且多邊形方法在標記部分受到遮擋時就可能會由于特征點數量的缺失而失效。
根據所使用攝像機的數量不同，基準點方法又可分為基于一個攝像機的單攝像機法和雙攝像機的立體視覺法。對單攝像機法來說，至少需要4個特征點，因而常采用方形標記；立體視覺法則需3個特征點就可確定，因此原理上采用三角形即可，但出于對遮擋魯棒性的考慮有時也會采用方形標記。立體視覺在對特征點數量的要求上更具優勢，并且可以同時從圖像視差中獲取場景深度信息，但該法分辨率不高、定位精度不夠、相機之間基線短且注冊深度有限；因此單相機方法雖然需要至少4個特征點，卻以性能表現成為了注冊方法的首選；立體視覺法則可作為對單相機方法提高穩定性的額外補充發揮重要作用。
模版匹配法同樣需要事先對相機標定內部參數，再通過圖像分析處理提取環境中平面上的特定圖形圖案，并與已有模式進行匹配，匹配成功即可確定該圖案板的位置和姿態，因而確定要疊加在圖案板上虛擬對象的位置和姿態。模版匹配法的典型代表是ARToolKit。目前，采用ARToolKit開發的系統有很多，例如MagicBook等。模版匹配法的優點是方便快速，使用普通PC機和攝像機即可實現很高的幀頻，對快速的運動也適用；缺點是魯棒性不夠，只要對圖案稍有遮擋就難以有效運作，因此無法近距離觀察與圖案板相連的虛擬物體或者用實際物體與之進行移動交互。
針對復雜的相機標定，有研究致力于簡化甚至免除該過程，出現了半自動和自動標定及無需標定的方法，半自動和自動標定一般利用冗余的傳感器信息自動測量和補償標定參數的變化；而無需標定的方法則以仿射變換和運動圖像序列法為代表。
仿射變換法不需要攝像機位置、相機內部參數和場景中基準標志點位置等相關先驗信息。仿射法通過將物體坐標系、相機坐標系和場景坐標系合并，建立一個全局仿射坐標系(非歐幾里得坐標系)來將真實場景、相機和虛擬物體定義在同一坐標系下，以繞開不同坐標系之間轉換關系的求解問題，從而不再依賴于相機定標。這種方法的缺點是不易獲得準確的深度信息和實時跟蹤作為仿射坐標系基準的圖像特征點。
基于圖像序列的方法是利用投影幾何方法從圖像序列中重構三維對象，目前已可以較好地重構一些簡單的表面實體。存在的問題是，現有基于圖像序列重構三維對象的技術中，特征點的提取完全基于圖像特征進行，少量高可靠性的特征點必須由大量特征點通過復雜的匹配和迭代計算得到，因此難以保證觀察視點位置獲取的實時性。
就目前而言，基于視覺的增強現實系統可使測量誤差局限在以像素為單位的圖像空間范圍內，因而是解決增強現實中三維注冊問題最有前途的方法。但同時研究表明，準確快速的跟蹤注冊在環境中有精確外部參考點的情況下，比在復雜的戶外真實世界中容易實現得多；在戶外情況下，需要使用結合了基于跟蹤器方法的復合注冊法。
2.2.3復合注冊法
一般的視覺跟蹤注冊法雖然精確性高，但為了縮短圖像分析處理的時間，常依賴于幀間連續性，當相機與對象間相對運動速度較大時就會找不到特征點；另外，視覺跟蹤注冊法在環境不符合要求(例如標記被遮擋或光照不足)時會失效，穩定性不夠好。而跟蹤傳感器如電磁跟蹤等雖然精確性不高，又有一定延遲，但魯棒性和穩定性不錯，而且對用戶運動的限制也較小。因此，結合視覺法和基于跟蹤器的方法可以取長補短：通常是先由跟蹤傳感器大概估計位置姿態，再通過視覺法進一步精確調整定位。一般采用的復合法有視覺與電磁跟蹤結合、視覺與慣導跟蹤結合、視覺與GPS跟蹤結合等。
電磁跟蹤法便攜性好，但易受到環境中金屬物體的影響，精度不夠高；與視覺法結合可以起到加速圖像分析過程、從多選中確定正解、作為后備穩定跟蹤和為視覺法提供對比參照結果等作用。慣性跟蹤優點是延遲小速度快，缺點是誤差累積效應并會影響注冊穩定性；與視覺法結合后可以預測平面標記的大概運動范圍并增加系統魯棒性和性能表現，視覺法則負責局部圖像分析以精確定位并消除傳感器的累積漂移量。
3、結論和展望
在國外，增強現實早已在醫學、遙操作、制造與維修、可視化與教育培訓、娛樂、軍事訓練等領域取得了成功應用。在國內，不少單位和個人對增強現實中的關鍵技術和算法進行了研究，并且以牙科醫學、設備維修等許多背景得到了初步應用研究，尤其在北航的機械手遙操作上得到了成功應用。但國內的研究目前仍多限于實驗階段，與國外的應用水平還有一定距離。
目前，隨著增強現實的快速發展，出現了許多新的研究方向，如新的顯示方式、照片真實感圖形繪制、調節現實(Mediated/Diminished Reality)、基于網絡的增強現實和針對戶外隨身增強現實系統的技術等等。其中涉及到的技術包括基于圖像的繪制(IBMR)、多通道信息融合、普適計算技術、顯示設備和跟蹤設備的隨身便攜化等。隨著系統性能的提高、操作過程的簡化和設備成本的降低，增強現實會在越來越多的領域得到廣泛應用。
核心關注：拓步ERP系統平臺是覆蓋了眾多的業務領域、行業應用，蘊涵了豐富的ERP管理思想，集成了ERP軟件業務管理理念，功能涉及供應鏈、成本、制造、CRM、HR等眾多業務領域的管理，全面涵蓋了企業關注ERP管理系統的核心領域，是眾多中小企業信息化建設首選的ERP管理軟件信賴品牌。
轉載請注明出處：拓步ERP資訊網http://www.lukmueng.com/
本文標題：增強現實系統及其關鍵技術研究
相關文章
