Email:[email protected]
近眼顯示器(Near eye display, NED)或頭戴顯示器(Head mounted display, HMD)作為實現(xiàn)虛擬現(xiàn)實(Virtual reality,,VR)和增強現(xiàn)實(Augmented Reality,AR)并提供沉浸式和交互式體驗的基本設備,,可將數(shù)字世界與物理世界無縫融合,,有望成為下一代增強現(xiàn)實顯示終端。目前,,NED 面臨的一個關鍵問題是輻輳-聚焦沖突,,用戶長時間觀看會導致眼睛疲勞和不適,。視網(wǎng)膜投影顯示(Retinal Projection Displays,RPD)技術具有全景聚焦(always in focus)的圖像特征,,自然化解了輻輳-聚焦沖突,,成為近眼顯示領域的研究熱點之一。
與傳統(tǒng)直視式顯示相比,,RPD 將圖像源直接成像到人眼瞳孔中的獨特原理造就了諸多優(yōu)勢,。第一,RPD 將近乎所有的光都匯聚到人眼中,,因此系統(tǒng)光效很高,,特別適合于戶外使用。第二,,通過增加目鏡的數(shù)值孔徑可以直接獲得大視場的近眼顯示,。第三,RPD 的全景聚焦特征自然化解了近眼顯示存在的輻輳-聚焦沖突,,可以實現(xiàn)無視疲勞的 AR 近眼顯示,。在某些 AR 應用如車輛輔助駕駛上,駕駛員雙眼對焦在車外不同距離處時均可看清虛擬圖像,,避免了在車外路況與虛擬圖像之間來回對焦引發(fā)的風險,,增加了駕駛安全性。
近日,,合肥工業(yè)大學 王梓 副研究員和 呂國強 教授團隊在《液晶與顯示》(ESCI,、Scopus 收錄,中文核心期刊)2022 年第 5 期發(fā)表了題為“視網(wǎng)膜投影顯示技術研究進展”綜述文章,。
本文回顧了 RPD 技術的發(fā)展,,闡述了 RPD 的基本工作原理,綜述了 RPD 及其出瞳拓展方面的最新進展,,并對其未來的前景進行了展望,。
RPD 這一概念最早出現(xiàn)在 1860 年物理學家麥克斯韋所做的一個實驗中。他將光源通過透鏡直接成像在瞳孔中,,由此觀察到透鏡被光線均勻地照明,。這種將光源成像在瞳孔中的方法被稱為麥克斯韋觀察法(Maxwellian viewing)。在該技術基礎上,,Kollin 等人加入圖像源,,開發(fā)了第一款 RPD 顯示器原型。隨后,,RPD 技術受到研究者的廣泛關注,。
圖1:(a)基于 SLM 的視網(wǎng)膜投影顯示;(b)基于 LBS 的視網(wǎng)膜投影顯示,。
圖源:液晶與顯示, 2022, 37(5): 640. Fig.1
圖1為傳統(tǒng) RPD 的基本原理圖,。在圖1(a)中,,點光源經(jīng)透鏡準直后,平行照射空間光調(diào)制器(Spatial light modulator,,SLM)加載數(shù)字圖像信息,,經(jīng)目鏡在人眼瞳孔處匯聚成光點,直接投射到人眼視網(wǎng)膜上成像,而不受人眼調(diào)焦的影響,。平行光源在瞳孔處的成像產(chǎn)生了小于瞳孔直徑的出瞳孔徑,,大幅增加了近眼顯示系統(tǒng)的景深。
圖1(b)是另一種采用 LBS(Laser beam scanning, LBS)方式的 RPD 顯示原理,。微機電系統(tǒng)(Micro-Electro-Mec hanical System, MEMS)掃描鏡對激光束做二維方向的掃描偏轉,,同時對激光束的強度進行同步調(diào)制,加載圖像信息,,實現(xiàn)激光束掃描投影,。再通過目鏡在人眼瞳孔處匯聚成光點,實現(xiàn)視網(wǎng)膜投影顯示,。LBS 方式利用激光的高準直性實現(xiàn)小出瞳孔徑,,與圖1(a)中的被動式光機相比,是一種主動式的顯示方法,。
由于光線被匯聚至一點,,過小的出瞳(eyebox)尺寸使得人眼瞳孔必須正好位于光點上時才能接收到圖像,而微小的偏移將導致圖像消失,。因此出瞳拓展是 RPD 所要解決的關鍵問題,。圍繞該問題,國內(nèi)外學者給出了形式多樣的解決方案,,主要分為幾何光學與衍射光學兩大類,。
基于幾何光學的 RPD 通過透鏡等幾何光學元件,將光束匯聚到人眼瞳孔中,,基于幾何光學的 RPD 的出瞳拓展方法可分為視點復制和視點轉向兩類,。
圖2:視網(wǎng)膜投影出瞳拓展;(a)分光鏡陣列,;(b)機械轉向鏡,;(c)LED 陣列
圖源:液晶與顯示, 2022, 37(5): 641. Fig.2
視點復制通過產(chǎn)生多個視點,以覆蓋較大的眼動范圍,。圖2(a)所示是分光鏡陣列方法,,使光路多次透反射后形成 3×3 個視點陣列來拓展出瞳。這種視點復制方法簡單有效,,但需要格外注意視點間距與瞳孔直徑之間的匹配,。如圖3所示,視點間距小于瞳孔直徑時會導致視點間串擾,,視點間距大于瞳孔直徑時會導致圖像丟失,。由于人眼瞳孔直徑隨環(huán)境光強的變化而改變,視點間距的設計也面臨挑戰(zhàn),。此外,,視點復制得越多,每一視點圖像亮度也隨之降低,。
圖3:(a)視點間距過小導致串擾,;(b)視點間距過大導致圖像丟失
圖源:液晶與顯示, 2022, 37(5): 641. Fig.3
相比之下,如圖2(b)所示,,視點轉向方法會根據(jù)瞳孔的位置動態(tài)地改變視點的位置,。圖2(c)所示是一種利用發(fā)光二極管(Light-emitting diode ,LED)光源陣列方案來實現(xiàn)視點轉向的方法,,根據(jù)瞳孔追蹤的信息動態(tài)控制不同位置 LED 發(fā)光,,以生成瞳孔面不同位置的視點,從而拓展出瞳,。另一方面,,LED 光源陣列方案亦可實現(xiàn)視點復制。通過高速切換 LED 光源,,并同步刷新 SLM 上加載的圖像,,可以實現(xiàn)視點復制。
采用幾何透鏡不利于光學系統(tǒng)的減薄,,而透鏡全息光學元件(Holographic optical element,,HOE)作為離軸的光學組合器,可以較好地解決輕薄化問題,。如圖4所示,,經(jīng)過光學干涉制備的透鏡 HOE,作為平面光學元件,,同時具備了聚焦與反射的光學效果,。同時由于布拉格光柵的波長選擇性,透鏡 HOE 對環(huán)境光的透過率接近 100%,。利用透鏡 HOE 對 LBS,、LCOS 等圖像源光束進行匯聚,可以實現(xiàn)結構緊湊,、高光效的 RPD 系統(tǒng),。
圖4:(a)透鏡 HOE 對 LBS 圖像源光束匯聚;(b)透鏡 HOE 對 SLM 圖像源光束匯聚
圖源:液晶與顯示, 2022, 37(5): 642. Fig.4
與前述幾何透鏡 RPD 的出瞳拓展類似,,在基于 HOE 的 RPD 中,,如圖5(a)所示,采用透鏡陣列 HOE 產(chǎn)生點光源陣列復制視點,,或采用機械偏轉鏡偏轉視點是常見的出瞳拓展方法,。此外,,如圖5(b)所示,HOE 的角度復用特性提供了另一種可能的解決方案,,將多個匯聚光束記錄到同一個 HOE 中,,從而將信號光匯聚到 3 個不同視點。
圖5:(a)透鏡陣列 HOE 產(chǎn)生的點光源陣列,;(b)多個匯聚光束記錄到同一個 HOE
圖源:液晶與顯示, 2022, 37(5): 642. Fig.5
近年來,,具備偏振特性的體光柵器件(PVG)或液晶 HOE(LCHOE)也被用于實現(xiàn) RPD 的出瞳拓展。與傳統(tǒng) HOE 記錄干涉光束的強度不同,,由于液晶固有的各向異性特性,,PVG 對信號光的偏振態(tài)非常敏感。該特性結合液晶器件的偏振調(diào)制能力,,為 RPD 系統(tǒng)出瞳拓展提供新的可能,。如圖6(a),反射式液晶全息光學元件(LCHOEs)的偏振選擇特性,,通過控制偏振轉換器(PC)動態(tài)切換入射光偏振態(tài)可以使得左手性 LCHOE 與右手性 LCHOE 分別發(fā)揮作用,,從而實現(xiàn) RPD 視點位置的動態(tài)切換。如圖6(b),,同樣基于偏振選擇性,,利用透射式偏振光柵(PG)器件與偏振轉換器動態(tài)切換光束方向,配合 HOE 產(chǎn)生兩組可切換的視點,,以緩解傳統(tǒng) HOE 復制視點可能出現(xiàn)的視點串擾及圖像丟失,。
圖6:(a)反射式 PVG;(b)透射式 PVG
圖源:液晶與顯示, 2022, 37(5): 643. Fig.6
除了傳統(tǒng)二維圖像源,,如圖7(a)和(b)所示,,利用全息波前調(diào)制能力生成三維圖像源并由透鏡或 HOE 匯聚到人眼中,可以實現(xiàn)具有深度感的全息 RPD 近眼顯示,。如圖7(c)所示,,結合復用編碼技術,可以僅采用 60hz 空間光調(diào)制器實現(xiàn)彩色的動態(tài)全息 RPD,。
圖7:(a)(b)全息圖像源的 RPD; (c)復用編碼技術實現(xiàn)彩色 RPD
圖源:(a)ACM Transactions on Graphics (Tog), 2017,36(4): 1-16. Fig14; (b) SID Symposium Digest of Technical Papers. Oxford, UK: Blackwell Publishing Ltd, 2011,42(1): 591-594. Fig1; (c)Opt. Express, 2021,29, 8098-8107. Fig.1
如圖8所示,,全息 RPD 通過在相位全息圖添加不同平面載波,并采用透鏡將重建圖像匯聚到不同視點位置,,可以輕易的實現(xiàn)出瞳拓展,。
圖8:相位全息圖拓展出瞳原理:(a)透視圖;(b)俯視
圖源:Opt. Lett. 2022, 47: 445-448. Fig.1
圖9則展示了利用振幅全息圖的共軛光來拓展全息 RPD 的出瞳,將傳統(tǒng)無用的共軛光干擾轉化成視點陣列,,實現(xiàn)了雙倍的視點復制,。
圖9:共軛光項編碼實現(xiàn)全息視網(wǎng)膜投影出瞳拓展
圖源:Optics Letters, 2021,46(22): 5623-5626. Fig.5
圖10:(a)全息 RPD 原理 (b)采用多球面波編碼的全息 RPD 出瞳拓展
圖源:液晶與顯示, 2022, 37(5): 643. Fig.7
圖10(a)所示是一種新型的無透鏡波前調(diào)控全息 RPD 方法,將目標圖像作為振幅,乘以匯聚球面波相位,,再通過菲涅爾衍射并引入?yún)⒖脊飧缮?,得到最終的振幅全息圖,這種方法摒棄了透鏡的使用,,直接通過 SLM 波前調(diào)制實現(xiàn)視網(wǎng)膜投影,。
結合人眼追蹤,視點三維坐標可以通過編碼球面波相位進行自由精準的操控,,具有無透鏡像差、高系統(tǒng)自由度等優(yōu)點,。全息 RPD 的全息圖計算過程十分簡單,,對計算資源的需求較低。此外,,由于使用球面波相位替代了傳統(tǒng)隨機相位,,散斑噪聲得到了較好的抑制。這種無透鏡全息 RPD 的靈活波前調(diào)控特性也可以簡單地實現(xiàn)視點復制,。如圖10(b)所示,,通過乘上不同方向閃耀光柵的多個球面波相位可以將光線匯聚到多個視點。
可以看出,,與傳統(tǒng)復制視點方法不同,,無透鏡的全息 RPD 利用波前編碼實現(xiàn)光束匯聚、偏轉及復制,,可以對視點三維坐標,、數(shù)量及間距靈活調(diào)控,以匹配瞳孔位置及大小的變化,,有效解決視點串擾及圖像丟失問題,。
通過在單張全息圖中編碼三色 RPD 波前信息,可以實現(xiàn)低散斑噪聲的彩色動態(tài)無透鏡全息 RPD 顯示及橫向出瞳拓展,,圖11(a)顯示了具有 AR 效果的彩色重建圖像,,不同深度處均清晰可見。如圖11(b)所示,,將多個虛擬圖像源編碼到一幅全息圖可以實現(xiàn)全彩動態(tài)多通道全息近眼顯示器,,允許用戶通過簡單的眼睛旋轉自由地在不同的視頻通道之間快速切換。
另外,,結合超多視點(super multi view,,SMV)顯示特性的無透鏡全息 RPD,將多個視差圖像乘以對應球面波會聚到瞳孔中,,可以提供單目深度線索,,圖11(c)展示了不同深度的重建結果。
圖11(a)基于球面波的全息 RPD 產(chǎn)生的具有 AR 效果的彩色重建圖像; (b) 全彩動態(tài)多通道全息近眼 RPD; (c)全息超多視點 RPD 重建結果
圖源:(a)Optics Letters, 2021, 46(17): 4112-4115;(b)Optics Letters, in review,;(c)Optics Letters, 2022, 47(10): 2530-2533.
RPD 近眼顯示具有高光效,,大視場等特點,其全景聚焦特征自然化解了輻輳-聚焦沖突,,可以實現(xiàn)無視疲勞的 AR 近眼顯示,。針對出瞳拓展問題,幾何光學方法常采用點光源陣列與機械偏轉鏡等手段實現(xiàn)視點的復制或偏轉,,但具備一定的復雜性,。
HOE 獨特的角度和偏振復用特性有助于實現(xiàn)大視場、大出瞳的輕薄化 RPD 系統(tǒng),。全息 RPD 直接通過 SLM 波前調(diào)制實現(xiàn)視網(wǎng)膜投影,,可以實現(xiàn)對視點的自由、精準的操控,。但全息 RPD 系統(tǒng)的出瞳與視場角仍受到 SLM 器件的限制,。未來,通過結合全息波前調(diào)控與 HOE 的優(yōu)點,,有望實現(xiàn)大視場,、大出瞳、高系統(tǒng)自由度的輕薄化 RPD 近眼顯示,。
張旭, 王梓, 屠科鋒, 陳濤, 龐煜劍, 呂國強, 馮奇斌. 視網(wǎng)膜投影顯示技術研究進展[J]. 液晶與顯示, 2022, 37(5):639-646.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0040
王梓,,合肥工業(yè)大學副研究員,碩士生導師,。2012年,、2017年于中國科學技術大學分別獲得物理學學士和博士學位,主要從事計算全息,、3D顯示,、近眼顯示等方面的研究。先后承擔國家自然科學基金,、國家工程技術研究中心課題,、安徽省重大專項等多項科研項目。已在 Optics Letters,、Optics Express,、Applied Physics Letters 等著名期刊發(fā)表 SCI 學術論文 30 余篇。
E-mail:[email protected]
監(jiān)制 | 張瑩,,趙陽 編輯 | 趙唯