AR頭戴顯示技術(shù)的突破進(jìn)展—王涌天ICEVE大會(huì)演講實(shí)錄
發(fā)布日期：2017-02-21 供稿：王涌天 AICFVE
編輯：辛嘉洋 審核：包麗穎 閱讀次數(shù)：【編者按】本文是由未來影像高精尖創(chuàng)新中心舉辦的ICEVE2016（第七屆北京國際先進(jìn)影像大會(huì)暨展覽會(huì)）的精華演講及專訪整理而成的系列專題文章,，本系列內(nèi)容涵蓋專家專訪,、大會(huì)報(bào)道、行業(yè)紀(jì)實(shí)等,，致力于梳理和提煉ICEVE大會(huì)的精華內(nèi)容并傳播給行業(yè)和大眾,。
未來影像高精尖創(chuàng)新中心一級(jí)研究員、北京理工大學(xué)信息與電子學(xué)部主任 王涌天
今天,，我給大家介紹一下我們實(shí)驗(yàn)室在增強(qiáng)現(xiàn)實(shí),，特別是增強(qiáng)現(xiàn)實(shí)頭戴顯示技術(shù)上的一些工作。
既然來到了電影學(xué)院,，自然也就離不開電影這個(gè)話題,。眾所周知，電影是要講故事的,，它是敘事的載體亦是造夢的機(jī)器,。隨著影像技術(shù)的發(fā)展，敘事作為人類生活中最重要的一部分,，其展示形式和方法也在逐漸進(jìn)化,。
人類歷史上出現(xiàn)的第一塊屏幕是電影銀幕,，有了電影銀幕以后就萌生了電影這種經(jīng)典敘事載體，這也是人類最早通過技術(shù)手段對(duì)連續(xù)圖像進(jìn)行記錄的形式,。緊隨其后的電視屏幕脫離了電影院的地點(diǎn)限制,，出現(xiàn)在了人們的家中，拉近了影像與人們的關(guān)系,，因而就出現(xiàn)了篇幅更長的敘事影像形式,，比如電視連續(xù)劇。
隨后,，我們又有了第三塊屏幕——手機(jī)屏幕,。手機(jī)屏幕的便攜性合理化了人們的碎片時(shí)間，所以隨著智能手機(jī)的推廣,，就出現(xiàn)了用碎片化時(shí)間觀看的超短網(wǎng)劇。隨著現(xiàn)在虛擬現(xiàn)實(shí)技術(shù)不斷的普及和發(fā)展,，新的敘事媒體形式也將進(jìn)一步進(jìn)化,。
我們認(rèn)為，類似可以沉浸觀看的虛擬現(xiàn)實(shí)技術(shù)可能是人類的倒數(shù)第三塊屏幕,，而倒數(shù)第二塊則是增強(qiáng)現(xiàn)實(shí),。所謂增強(qiáng)現(xiàn)實(shí)，即虛實(shí)融合,，讓人們置身在真實(shí)場景中的同時(shí)觀看到虛擬的影像內(nèi)容,。這是一種全新的顯示形式，因此,，如何利用增強(qiáng)現(xiàn)實(shí)這種虛實(shí)融合的影像形式來呈現(xiàn)故事內(nèi)容,，這是我們需要思考和探討的。人類最后一塊屏幕可能是直接連接腦神經(jīng)了,，這個(gè)離咱們比較遠(yuǎn)暫時(shí)就不做過多說明了,。
下面介紹一下我們在增強(qiáng)現(xiàn)實(shí)技術(shù)方面的進(jìn)展。首先講一下研究背景,。頭盔顯示器其實(shí)有很長的發(fā)展歷史,，其中很著名的一個(gè)學(xué)者Ivan Sutherland在1968年就提出來了一個(gè)頭盔顯示器：達(dá)摩克里斯之劍。由此,，他被認(rèn)為是虛擬現(xiàn)實(shí)之父,。同時(shí)，他也是非常著名的圖靈獎(jiǎng)的獲得者,。多年以來,，頭盔顯示器的技術(shù)一直在不斷的發(fā)展，當(dāng)然主要應(yīng)用在專業(yè)領(lǐng)域特別是軍事領(lǐng)域上,。
但近來民用的VR/AR產(chǎn)品獲得了長足的發(fā)展：2012年Google推出Google Glass,，2014年Facebook收購了Oculus,。近幾年，信息領(lǐng)域的巨頭們紛紛推出相關(guān)的頭戴顯示技術(shù),，諸如Sony,，Samsung，Microsoft,，Intel等等,。這其中非常著名的Magic Leap公司，在未推出任何產(chǎn)品之時(shí)就得到了將近8個(gè)億的C輪投資,，據(jù)了解它的核心技術(shù)也是頭戴式顯示技術(shù)?，F(xiàn)階段國外很多公司都在做這方面的工作，國內(nèi)也不少興起的創(chuàng)業(yè)公司在做透視頭戴式顯示技術(shù),。
目前,，增強(qiáng)現(xiàn)實(shí)頭盔還存有一些問題。第一,，目前面世的增強(qiáng)現(xiàn)實(shí)頭盔中除了Google Glass以外重量都比較重,。但是Google Glass也存在視場角太小等問題，這是因?yàn)樵陬^盔的透視部分光學(xué)的虛實(shí)融合元件都比較厚,，大部分還做不到跟眼鏡一樣薄,，而且視場角和出瞳也比較小。此外,，就是大部分頭盔不能調(diào)節(jié)視度,。一些出瞳足夠大的頭盔顯示器允許用戶佩戴眼鏡使用，但是這樣的系統(tǒng)在佩戴舒適性上存在較大問題,。
所以,，我們最終預(yù)期能夠?qū)崿F(xiàn)的由眼鏡直接呈現(xiàn)且能夠校正不同視度的技術(shù)。另外,，頭盔的電池續(xù)航時(shí)間短和透視眼鏡研發(fā)成本高這兩個(gè)問題仍比較突出,。因此，增強(qiáng)現(xiàn)實(shí)頭戴顯示技術(shù)的兩個(gè)發(fā)展方向,，一個(gè)就是超輕超薄,，達(dá)到跟戴眼鏡一樣便捷，這個(gè)方向主要針對(duì)大眾應(yīng)用,；另外一個(gè)就是實(shí)現(xiàn)大視場角高分辨率,，主要是針對(duì)專業(yè)應(yīng)用。
為了解決上述問題,，光學(xué)領(lǐng)域很多先進(jìn)的技術(shù)都逐漸用到了透視頭盔上,，包括自由曲面光學(xué)，全息顯示技術(shù),，波導(dǎo)技術(shù)以及光場顯示技術(shù)等等,。我們實(shí)驗(yàn)室從本世紀(jì)初就開始研究透視頭盔顯示器,，1992年我們?yōu)榧幽么蟮腝ueensland University做了一個(gè)120°的浸沒式頭盔，這也是我們做的第一個(gè)頭盔,。
2005年我們提交了一個(gè)專利申請,，描述了一種光學(xué)透射式頭戴顯示器，與后來Google Glass的設(shè)計(jì)比較起來基本是同一個(gè)方案,，但是我們的方案加了透鏡以后視場角就比Google Glass大很多,，Google Glass只有15°，我們能達(dá)到44°,。我們采用的是旋轉(zhuǎn)對(duì)稱的傳統(tǒng)光學(xué)系統(tǒng),，這種光學(xué)系統(tǒng)一般重量比較大，而且由于當(dāng)時(shí)的技術(shù)限制,，用的是2.2寸的顯示器,，就是當(dāng)時(shí)的手機(jī)顯示屏，所以整個(gè)系統(tǒng)比較重,，達(dá)到400g的重量,。后來的Google Glass采用了微型顯示器，同時(shí)把視場角減小以后,，整個(gè)系統(tǒng)體積變小了，所以比較輕,，但在光學(xué)系統(tǒng)上和我們的設(shè)計(jì)思路是完全一樣的,。
到十一五期間（即2008年）我們又申請了用自由曲面光學(xué)實(shí)現(xiàn)的頭戴顯示器的相關(guān)專利。所謂自自由曲面,，就是沒有任何對(duì)稱性的,，用XY多項(xiàng)式來描述的復(fù)雜曲面。通過使用這種光學(xué)元件來設(shè)計(jì)透視頭盔,，我們實(shí)現(xiàn)了水平45°的大視場角,，而且整個(gè)系統(tǒng)重量很輕。
如上圖所示,，這是我們基于自由曲面設(shè)計(jì)的目鏡和傳統(tǒng)目鏡的比較,，二者均獲得了國家發(fā)明專利授權(quán)。對(duì)于一般目鏡來說,， 能做到50多度的視場角已屬不易,，而且自由曲面的出瞳比這個(gè)傳統(tǒng)光學(xué)目鏡的還要大一些，同時(shí)重量是傳統(tǒng)光學(xué)目鏡的七分之一,，厚度是傳統(tǒng)光學(xué)目鏡的二分之一,，此外加上一片補(bǔ)償鏡以后，可以實(shí)現(xiàn)光學(xué)透射的增強(qiáng)顯示?，F(xiàn)在該設(shè)計(jì)已經(jīng)做成性能良好的產(chǎn)品了,。
我們的透視頭盔和國際上一些產(chǎn)品的比較可以看出我們的技術(shù)指標(biāo)相當(dāng)出色,。另外，如下圖所示我們的增強(qiáng)現(xiàn)實(shí)實(shí)驗(yàn),，計(jì)算機(jī)生成的任何東西都可以疊加到真實(shí)環(huán)境中,。
我們目前最新的透視式頭盔和實(shí)際的成像效果都很精良，此頭盔完全用自由曲面做成,，成像清晰且透視效果良好,。這個(gè)頭盔顯示器厚度在10毫米左右，如果想要做得更薄,，可以把波導(dǎo)技術(shù)（全息波導(dǎo)或者幾何波導(dǎo)）結(jié)合起來,，將厚度控制在8毫米。
全息波導(dǎo)的色差是非常大的,，在初始的設(shè)計(jì)實(shí)驗(yàn)中,，我們實(shí)現(xiàn)了超薄玻璃的橫向傳像。在該實(shí)驗(yàn)中,，我們的像源是一個(gè)簡單的手電,，手電前面放了一塊遮光板，形成了一個(gè)圖像源,， 加上全息光學(xué)元件以后我們實(shí)現(xiàn)了用2毫米厚的玻璃橫向傳像,，但由于它有很大的色差，可以看到的是綠,、黃,、紅完全分開了（如下圖上半部分所示）。
這樣的成像質(zhì)量是不能接受的,，所以后來我們又提出來用三次曝光的方法實(shí)現(xiàn)全息元件色差的矯正,，矯正的效果較為理想（如上圖下半部分所示），這篇文章發(fā)表在美國光學(xué)學(xué)會(huì)Applied Optics 50周年的封面文章,。但是此種矯正方式在視場角大的時(shí)候仍然不能很好的解決問題,。
我們用全息元件和自由曲面結(jié)合起來做了一個(gè)超輕超薄的單色透視頭戴式顯示技術(shù)的設(shè)計(jì)，正在加工中,。如果想做大視場角,、高分辨率的超薄彩色透視頭盔，可以采用幾何波導(dǎo)的方法,，這種方法在輸入圖像的時(shí)候仍然用自由曲面光學(xué)器件,，輸出圖像使用的是一系列的半反半透玻璃，也就是幾何波導(dǎo),。幾何波導(dǎo)的主要問題是會(huì)產(chǎn)生比較強(qiáng)的雜光和鬼像,，我們從設(shè)計(jì)、加工和鍍膜等各個(gè)方面來設(shè)法消除這個(gè)鬼像，我們做的幾何波導(dǎo)樣片,，厚度是2.4毫米,。
上圖是我們做的樣機(jī)，可以看出它非常輕小,，這是和硬幣的比較,。
除了更加輕薄的AR頭戴設(shè)備之外，我們也探討其他的一些技術(shù)方案,，比如大視場角的高分辨率頭盔,。視場角變大了之后分辨率就會(huì)降低，比如Oculus,，它雖然擁有100度左右的視場角,，但是每度分配的像素?cái)?shù)很少，所以看到的網(wǎng)格很粗,。我們有很多辦法來解決這個(gè)問題,，但是其中最徹底的解決辦法就是用拼接式的頭盔，也就是我們經(jīng)?？吹降钠唇油队盎蛘咂聊粔δ菢?，用多塊屏幕或者說微型顯示器來拼接。
如上圖所示,，這是我們用傳統(tǒng)光學(xué)的方式做了一個(gè)浸沒式的100度大視場角的方案,，它在實(shí)現(xiàn)100度視場角的時(shí)候角分辨率依然保持好于3.5分。同時(shí)這個(gè)方案基本沒有畸變,，不需要像Oculus那樣用電子的方法來矯正,。
由于這種拼接方法采用傳統(tǒng)光學(xué)系統(tǒng)，所以它的各個(gè)sub-channel（子成像系統(tǒng)）的光軸都是傾斜的,，不平行于人眼光軸，因此在人眼轉(zhuǎn)動(dòng)的時(shí)候它的畸變會(huì)發(fā)生變化,，英文叫做perspective distortion,，是指隨著你視角的方向發(fā)生變化的畸變，這種畸變的電子校正需要對(duì)人眼的注視方向進(jìn)行跟蹤,，要在頭盔上加眼部跟蹤系統(tǒng),，這個(gè)方案相對(duì)復(fù)雜，所以我們現(xiàn)在提出來用自由曲面光學(xué)來進(jìn)行拼接,。在這種拼接方案中,，子成像系統(tǒng)的光軸和眼睛的光軸完全重合，也就解決了perspective distortion這個(gè)問題,，另外我們加了一片補(bǔ)償鏡以后仍然可以實(shí)現(xiàn)光學(xué)透射,。
此外，我們還有其他不同拼接方案，比如用2塊,、4塊,、6塊的這種拼接方式，甚至可以做到120°的視場角的透視式頭盔,，這些我們都已獲得了相關(guān)的中國,、美國和歐洲的發(fā)明專利授權(quán)。
另外,，我們也在研究真三維頭戴式顯示技術(shù)?，F(xiàn)在所謂的3D電視和3D電影，實(shí)際上有很多的問題,，其中一個(gè)重要的問題就是它和我們?nèi)粘Ｓ醚鄣姆绞讲灰恢?。我們平時(shí)觀看一個(gè)三維物體的時(shí)候，眼睛是同時(shí)會(huì)聚和調(diào)焦在物體上的,，但是在看3D電視和3D電影的時(shí)候,，眼睛為了看清圖像永遠(yuǎn)調(diào)焦在二維屏幕上，所謂的3D立體顯示,，它顯示的物體或者是突出于或者是深入到二維屏幕的,，這時(shí)人眼會(huì)聚的距離和調(diào)焦的距離是不一致的，時(shí)間長了會(huì)引起視覺疲勞（Visual fatigue）,。大家觀看3D電影大約需要兩個(gè)小時(shí)左右,，屬于可承受范圍內(nèi)，但是看3D電視時(shí)間長了肯定會(huì)引起視覺疲勞,，這也是3D電視一直沒有發(fā)展起來的重要原因,。
而在頭戴顯示技術(shù)領(lǐng)域，同樣的問題也存在,，就是我們?nèi)匀皇怯米笥已垡暡畹倪@種立體顯示方式,。那么怎么解決這個(gè)問題呢？用自由曲面光學(xué)可以解決這個(gè)問題,，通過設(shè)計(jì)雙通道的光學(xué)系統(tǒng),，讓我們有兩個(gè)像面，一個(gè)是比較近的,，另一個(gè)是比較遠(yuǎn)的,，那么你在看遠(yuǎn)處物體的時(shí)候，實(shí)際上看到的是遠(yuǎn)處那個(gè)像面,，這樣遠(yuǎn)處的像面就清楚了,，近處的就變模糊了；同理,，你在看近處物體的時(shí)候?qū)嶋H上看的是近處的像面,，那么遠(yuǎn)處的就變模糊了，這個(gè)效果模擬出了我們?nèi)粘５挠醚矍闆r。
由于這種方式使用了自由曲面,，所以設(shè)計(jì)上的自由度非常大,，可供選擇的設(shè)計(jì)方案比較多。我們的最終設(shè)計(jì)方案達(dá)到了可接受的成像效果,，但是目前還有一些畸變,，這些畸變需要用電子的方法來矯正。另外,，我們還提出來一種把光場（light field）顯示技術(shù)和我們的頭戴顯示技術(shù)結(jié)合起來,，做頭戴式真三維顯示技術(shù)。
這種顯示技術(shù)可以實(shí)現(xiàn)不僅兩個(gè)像面而是多個(gè)像面的同時(shí)成像,。在我們做的初步實(shí)驗(yàn)中,，我們的光學(xué)系統(tǒng)在真實(shí)空間中成像了一個(gè)斜放的虛擬光柵。當(dāng)你的眼睛調(diào)焦在遠(yuǎn)處的時(shí)候,，可以清楚地看到墻面張紙上的字,，同時(shí)看到光柵的遠(yuǎn)處部分變得清楚了；當(dāng)你的眼睛調(diào)焦在近處的時(shí)候,，可以看到近處綠色屏幕和斜光柵的近處部分變得清楚了,，這就實(shí)現(xiàn)了虛實(shí)融合的真三維顯示。
實(shí)驗(yàn)室利用增強(qiáng)現(xiàn)實(shí)頭戴顯示器針對(duì)不同行業(yè)開發(fā)了一系列應(yīng)用,。其中比較有代表性的就是我們開發(fā)的輕型飛行模擬器,。該系統(tǒng)在訓(xùn)練飛行員的時(shí)候，可以在顯示出虛擬機(jī)艙和艙外景色的同時(shí),，讓飛行員看到自己的腿和自己的手,，是一種典型的虛實(shí)融合的AR應(yīng)用。
此外,，我們在廣東省科技館做了一個(gè)虛實(shí)結(jié)合的項(xiàng)目,，它的真實(shí)場景是模擬出的海底場景，但是透過頭盔可以看到虛擬的魚類,，而且能夠?qū)崿F(xiàn)虛擬魚和真實(shí)水草之間的正確遮擋,，甚至還可以跟魚來進(jìn)行交互，比如伸出手來可以給鯊魚喂食,。
同時(shí)，我們還研發(fā)了圓明園AR游覽應(yīng)用,。佩戴此款增強(qiáng)現(xiàn)實(shí)系統(tǒng)后,，人們可以在廢墟上看到未被燒毀前的圓明園。這是一種新穎的旅游形式,，也是一種很好的愛國主義教育方式,，這種技術(shù)下一步也許可以用到未來影像里。
那么，這個(gè)領(lǐng)域未來會(huì)怎么樣,？如果我們把AR透視眼鏡和戶外的跟蹤定位系統(tǒng)做好做完善,，那么這種透視眼鏡在導(dǎo)游、導(dǎo)覽,、導(dǎo)航,、導(dǎo)購等各個(gè)方面都有廣闊的應(yīng)用前景，非常有可能取代我們的手機(jī)作為下一代的移動(dòng)終端,。因?yàn)槭謾C(jī)不管屏幕做得多大,，它的視場角也不會(huì)超過5°，而透視頭盔做到30度以上是很方便的,。
現(xiàn)在的手機(jī)讓人類可以離開計(jì)算機(jī)桌隨意走動(dòng),，但它不是一種健康的生活方式，總是需要低著頭,，它對(duì)人的眼睛和頸椎都會(huì)造成損害,，而且還把手完全占住了。與此不同,，當(dāng)我們戴上透視式的AR眼鏡后,，人類不僅可以再次昂首挺胸地站立起來，還能解放雙手,。所以我們說移動(dòng)增強(qiáng)現(xiàn)實(shí)技術(shù)可以使人類第二次站立起來,，它必將成為一個(gè)萬眾矚目的新興技術(shù)。但是,，如何把這種技術(shù)和電影的敘事方式結(jié)合起來,，則是需要探討的新課題。
我的報(bào)告到此結(jié)束,，謝謝大家,！
【作者簡介】
王涌天 1982年獲天津大學(xué)精密儀器系工學(xué)學(xué)士學(xué)位，1986年獲英國Reading大學(xué)物理系工學(xué)博士學(xué)位,。北京理工大學(xué)信息與電子學(xué)部主任,，光電學(xué)院和計(jì)算機(jī)學(xué)院博導(dǎo)，校學(xué)術(shù)委員會(huì)和學(xué)位評(píng)定委員會(huì)副主席,，北京市混合現(xiàn)實(shí)與新型顯示工程技術(shù)研究中心主任,。兼任全國政協(xié)委員，國務(wù)院學(xué)位委員會(huì)光學(xué)工程學(xué)科評(píng)議組召集人,，科技部信息技術(shù)領(lǐng)域?qū)＜医M成員,，國際標(biāo)準(zhǔn)組織（ISO）有關(guān)標(biāo)準(zhǔn)制定專家組成員，國家信息技術(shù)標(biāo)準(zhǔn)化委員會(huì)虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)標(biāo)準(zhǔn)工作組組長,，國際工程光學(xué)學(xué)會(huì)（SPIE）,、美國光學(xué)學(xué)會(huì)（OSA）和英國工程技術(shù)學(xué)會(huì)（IET）Fellow等職,。長期在技術(shù)光學(xué)和虛擬現(xiàn)實(shí)領(lǐng)域從事教學(xué)和科研工作，主要研究方向包括光學(xué)系統(tǒng)設(shè)計(jì)和CAD,、新型三維顯示,、虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)、醫(yī)學(xué)圖像處理等方面,。2000年獲得國家杰出青年科學(xué)基金的資助,，2001年受聘教育部長江學(xué)者特聘教授，2006年成為教育部創(chuàng)新團(tuán)隊(duì)帶頭人,，2011年榮獲全國五一勞動(dòng)獎(jiǎng)?wù)拢?012年成為國家973項(xiàng)目首席科學(xué)家,。出版專著1部，教材2部,，其中《應(yīng)用光學(xué)》英文版被評(píng)為北京市高等教育精品教材,。指導(dǎo)的博士生先后在2006年和2011年獲得全國優(yōu)秀博士學(xué)位論文及其提名獎(jiǎng)，在2013年獲得北京市優(yōu)秀博士學(xué)位論文,。獲得北京市教育教學(xué)成果二等獎(jiǎng)和中國學(xué)位與研究生教育學(xué)會(huì)研究生教育成果獎(jiǎng)二等獎(jiǎng)各一項(xiàng),。曾兩次被評(píng)為北京市教育創(chuàng)新標(biāo)兵。有關(guān)科研成果先后獲得國家科技進(jìn)步三等獎(jiǎng)1項(xiàng),，省部級(jí)技術(shù)發(fā)明一等獎(jiǎng)1項(xiàng),、科技進(jìn)步二等獎(jiǎng)4項(xiàng)、三等獎(jiǎng)1項(xiàng),；發(fā)表專著1部,、譯著2部、論文400余篇,，編輯國際會(huì)議論文集12部,；授權(quán)國際發(fā)明專利4項(xiàng)，國家發(fā)明專利36項(xiàng),。
（內(nèi)容來源：未來影像高精尖創(chuàng)新中心微信公眾平臺(tái) ）
分享到：