Email:[email protected]
由北京航空航天大學(xué) 王瓊?cè)A 教授組織的”3D 顯示技術(shù)及應(yīng)用”??l(fā)表在《液晶與顯示》(ESCI,、Scopus收錄,,中文核心期刊)2022 年第 5 期(??溄?gt;),,該專刊圍繞光場(chǎng) 3D 顯示,、多視點(diǎn) 3D 顯示,、全息 3D 顯示、近眼顯示和3D 交互等內(nèi)容進(jìn)行原創(chuàng)成果的展示和研究進(jìn)展的專題綜述,。其中,,北京郵電大學(xué)信息光子學(xué)與光通信國(guó)家重點(diǎn)實(shí)驗(yàn)室桑新柱教授研究團(tuán)隊(duì)集中展示了四項(xiàng)重要研究成果。
在全息 3D 顯示方面,,桑新柱等人提出了基于數(shù)字微鏡器件的高分辨率計(jì)算全息顯示,,實(shí)現(xiàn)了大尺寸高分辨率的動(dòng)態(tài)全息顯示效果。在光場(chǎng) 3D 顯示方面,,高鑫等人提出了基于預(yù)處理卷積神經(jīng)網(wǎng)絡(luò)提升 3D 光場(chǎng)顯示視覺(jué)分辨率的方法,展示了 70 度視角的光場(chǎng)顯示效果,;于迅博等人提出了一種裸眼 3D 顯示中的多視點(diǎn)校正方案,,解決了空間視點(diǎn)分布和采集分布不匹配的問(wèn)題。在多視點(diǎn) 3D 顯示方面,,于迅博等人提出了一種視點(diǎn)均勻分布的桌面式光場(chǎng)顯示系統(tǒng),,改善了視點(diǎn)間的串?dāng)_問(wèn)題。以上一系列 3D 顯示技術(shù)及應(yīng)用研究成果的展示,,希望能為廣大 3D 顯示領(lǐng)域同行提供借鑒,,帶來(lái)一些有益的啟發(fā),同時(shí)希望能推動(dòng) 3D 顯示的技術(shù)進(jìn)步和應(yīng)用推廣,。
1. 基于數(shù)字微鏡器件的高分辨率計(jì)算全息顯示
全息顯示技術(shù)通過(guò)記錄和再現(xiàn)物體的波前來(lái)重建具有正確深度信息的三維圖像,,可以克服其他三維顯示技術(shù)中輻輳調(diào)焦不匹配、人眼視覺(jué)疲勞等不足,在教育,、軍事,、工業(yè)、醫(yī)療,、娛樂(lè)等行業(yè)中應(yīng)用廣泛,。隨著計(jì)算機(jī)軟硬件性能的提升和光電器件技術(shù)的發(fā)展,基于空間光調(diào)制器的計(jì)算全息顯示成為當(dāng)前的研究熱點(diǎn),,可以存儲(chǔ)或顯示虛擬的目標(biāo)物體,,方便進(jìn)行異地傳輸、遠(yuǎn)程連接或?qū)崟r(shí)動(dòng)態(tài)顯示等,。然而,,空間光調(diào)制器都是像素化的調(diào)制器件,其調(diào)制動(dòng)態(tài)范圍和精度有限,,因此計(jì)算全息受到光電器件參數(shù)(例如器件像素大小和總體尺寸)和計(jì)算負(fù)荷等的影響,,很難實(shí)現(xiàn)高分辨率大尺寸的動(dòng)態(tài)全息顯示。
針對(duì)全息圖局部信息可完整再現(xiàn)物面信息的特性,,桑新柱,、李會(huì)等人提出了一種基于數(shù)字微鏡器件的高分辨率大尺寸全息顯示方法。該方法利用計(jì)算機(jī)渲染或相關(guān)變換方法生成高分辨率輸入圖像,,利用菲涅爾衍射算法和傅立葉變換并行計(jì)算提升全息圖的分辨率,,根據(jù)數(shù)字微鏡器件特性進(jìn)行衍射圖像的時(shí)空復(fù)用與動(dòng)態(tài)融合,有效提升計(jì)算全息顯示的分辨率與動(dòng)態(tài)效率,。實(shí)驗(yàn)結(jié)果表明,,該方法可實(shí)現(xiàn)大尺寸高分辨率的動(dòng)態(tài)全息顯示效果,突破了數(shù)字微鏡器件固有的像素?cái)?shù)目及分辨率限制,,利用并行計(jì)算方法大大提升了高分辨率計(jì)算全息顯示的計(jì)算效率,。當(dāng)加載不同時(shí)間序列的子全息圖時(shí)均可達(dá)到高分辨率重建,根據(jù)人眼的視覺(jué)暫留效應(yīng),,使用像素分辨率為 2K 的數(shù)字微鏡器件可顯示 8K 甚至更高分辨率的重建圖像,。
圖1:實(shí)驗(yàn)光路圖與高分辨率動(dòng)態(tài)全息顯示方法
圖源:液晶與顯示, 2022, 37(5):625-631.
論文信息
李會(huì), 桑新柱*, 仲崇力, 秦秀娟, 王葵如, 顏玢玢. 基于數(shù)字微鏡器件的高分辨率計(jì)算全息顯示[J]. 液晶與顯示, 2022, 37(5): 625-631.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0038
2. 基于預(yù)處理卷積神經(jīng)網(wǎng)絡(luò)提升 3D 光場(chǎng)顯示視覺(jué)分辨率的方法
3D 光場(chǎng)顯示技術(shù)因具有較大的觀看視角、密集的觀看視點(diǎn)而被研究學(xué)者們關(guān)注,。分辨率是 3D 光場(chǎng)顯示技術(shù)的一個(gè)重要參數(shù),,提升分辨率的方法較為復(fù)雜,因此研究學(xué)者們開(kāi)始關(guān)注視覺(jué)分辨率,。為了提高 3D 光場(chǎng)顯示的視覺(jué)分辨率,,高鑫、于迅博,、桑新柱等人提出了基于預(yù)處理卷積神經(jīng)網(wǎng)絡(luò)提升 3D 光場(chǎng)顯示視覺(jué)分辨率的方法,。首先根據(jù)彌散斑之間相互疊加的情況建立了 3D 光場(chǎng)顯示視覺(jué)分辨率增強(qiáng)模型,,然后對(duì)現(xiàn)有透鏡陣列中的光學(xué)元件進(jìn)行像差分析,提取高斯核陣列,,其次基于高斯核陣列,、高分辨率的基元圖像陣列搭建了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)經(jīng)過(guò)約 50,000 次的迭代可以收斂,,用時(shí) 1800s,。將收斂后的網(wǎng)絡(luò)應(yīng)用于初始基元圖像陣列,進(jìn)而得到可用于視覺(jué)分辨率增強(qiáng)的預(yù)處理基元圖像陣列,。光學(xué)實(shí)驗(yàn)中,,采用了由定向擴(kuò)散膜、透鏡陣列和 LCD 組成的光場(chǎng)顯示系統(tǒng),。透鏡陣列規(guī)模為 53×30,,相鄰?fù)哥R單元之間的中心距離是 13 mm,LCD 的尺寸為 32 英寸,,分辨率為 7680×4320,。在 70 度的視角內(nèi),由視覺(jué)分辨率增強(qiáng)方法產(chǎn)生的 3D 圖像更加清晰,,并提供了更多的街道細(xì)節(jié)信息,。
圖2:未使用優(yōu)化方法和采用視覺(jué)分辨率增強(qiáng)方法的街道場(chǎng)景的三維光場(chǎng)顯示
圖源:液晶與顯示, 2022, 37(5):549-554.
論文信息
于迅博,,李涵宇,,高鑫*,,桑新柱,顏玢玢,粟曦雯,,溫旭東,,徐斌,,王越笛. 基于預(yù)處理卷積神經(jīng)網(wǎng)絡(luò)提升3D光場(chǎng)顯示視覺(jué)分辨率的方法[J]. 液晶與顯示, 2022, 37(5):549-554.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0044
3. 一種裸眼 3D 顯示中的多視點(diǎn)校正方案
裸眼 3D 顯示中傳統(tǒng)的多視點(diǎn)采集方式為均勻采集,。研究表明,,因柱透鏡光柵存在畸變,,導(dǎo)致顯示器構(gòu)建的視點(diǎn)分布并不均勻,,進(jìn)而導(dǎo)致顯示器視點(diǎn)和采集視點(diǎn)不匹配,,產(chǎn)生了視點(diǎn)圖像錯(cuò)位,、透視關(guān)系錯(cuò)誤等問(wèn)題,,影響最終的觀看體驗(yàn),。因此,提出一種針對(duì)裸眼 3D 中多視點(diǎn)圖像的校正方案,,使采集視點(diǎn)匹配顯示器視點(diǎn)分布,,并填充正確視點(diǎn)圖像,對(duì)提升光柵裸眼 3D 顯示的觀看效果是尤為必要的,。
針對(duì)上述問(wèn)題,,于迅博、李寧馳,、桑新柱等人提出了一種多視點(diǎn)圖像分布校正方案,,由一種視點(diǎn)篩選算法和中間視點(diǎn)生成網(wǎng)絡(luò)構(gòu)成,結(jié)合空間視點(diǎn)真實(shí)分布規(guī)律,,針對(duì)均勻采集的多視點(diǎn)圖像進(jìn)行視點(diǎn)篩選,,以指導(dǎo)中間視點(diǎn)預(yù)測(cè)網(wǎng)絡(luò)生成對(duì)應(yīng)位置的虛擬視點(diǎn),使之匹配顯示器構(gòu)建視點(diǎn)位置,;提出了一種基于光流預(yù)測(cè)模塊和融合校正網(wǎng)絡(luò)的高效中間視點(diǎn)生成網(wǎng)絡(luò),,在 34 ms 內(nèi)渲染插值視點(diǎn),生成視點(diǎn)與真值的 PSNR 在 30 dB 以上,。實(shí)驗(yàn)證明該方案為顯示器視點(diǎn)填充了正確的視差圖,,有效地解決了顯示器空間視點(diǎn)和采集視點(diǎn)的位置不匹配問(wèn)題、提升了光柵立體顯示器的觀看質(zhì)量,。該工作有望在虛擬視點(diǎn)生成,、平滑運(yùn)動(dòng)視差、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域得到進(jìn)一步擴(kuò)展和應(yīng)用,。
圖3:多視點(diǎn)采集校正方案
圖源:液晶與顯示, 2022, 37(5):605-612.
論文信息
李寧馳,,于迅博*,高鑫,,顏玢玢,,桑新柱,溫旭東,,徐斌. 一種裸眼3D顯示中的多視點(diǎn)校正方案[J]. 液晶與顯示, 2022, 37(5): 605-612.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0039
4. 一種視點(diǎn)均勻分布的桌面式光場(chǎng)顯示系統(tǒng)
三維電子沙盤(pán)可以顯示高質(zhì)量的三維地理地形圖像,,幫助使用者更加形象具體地判斷地理結(jié)構(gòu)和地形細(xì)節(jié),從而提高工作的精確性和效率?;谝朁c(diǎn)分段式體像素的桌面式光場(chǎng)顯示系統(tǒng)具有正面觀看視區(qū)以及 100° 超大視角,能夠顯示具有全視差的高質(zhì)量三維圖像,,是實(shí)現(xiàn)三維電子沙盤(pán)的一個(gè)可靠解決方案,。但是,該系統(tǒng)構(gòu)建的視點(diǎn)在空間中分布不均勻,,導(dǎo)致顯示的三維圖像出現(xiàn)透視關(guān)系不正確以及視點(diǎn)間的串?dāng)_等問(wèn)題,,影響顯示質(zhì)量。
針對(duì)上述問(wèn)題,,于迅博,、徐斌、桑新柱等人分析發(fā)現(xiàn)系統(tǒng)采用的柱透鏡存在像差,,使得定向光線經(jīng)過(guò)透鏡折射后無(wú)法會(huì)聚于一點(diǎn),,而是形成彌散斑的形狀。根據(jù)斯涅爾定律,,透鏡對(duì)邊緣光線的折射能力更強(qiáng),,使得視點(diǎn)在視區(qū)中間分布密集,視區(qū)邊緣分布稀疏,。為了均勻系統(tǒng)的視點(diǎn)分布,,提升顯示性能,采用非球面對(duì)透鏡面型進(jìn)行優(yōu)化,,能夠減少透鏡數(shù)量,,避免復(fù)雜的透鏡結(jié)構(gòu)。引入非球面對(duì)透鏡進(jìn)行光學(xué)優(yōu)化,,采用阻尼最小二乘法對(duì)初級(jí)像差和其他高階像差進(jìn)行迭代優(yōu)化,,計(jì)算出最優(yōu)的結(jié)果。經(jīng)過(guò)優(yōu)化后,,透鏡所形成彌散斑的均方根半徑由 66.640 μm 減小為 0.404 μm,,透鏡的像差得到了極大抑制。采用所設(shè)計(jì)的透鏡進(jìn)行實(shí)驗(yàn)后發(fā)現(xiàn),,系統(tǒng)視點(diǎn)的均勻性得到了顯著提升,,顯示圖像透視關(guān)系不正確以及視點(diǎn)間的串?dāng)_等問(wèn)題都得到了明顯改善。
圖4:基于視點(diǎn)分段式體像素的桌面光場(chǎng)顯示系統(tǒng)的光路圖
圖源:液晶與顯示, 2022, 37(5):573-580.
論文信息
徐斌,,于迅博*,,高鑫,桑新柱. 一種視點(diǎn)均勻分布的桌面式光場(chǎng)顯示系統(tǒng)[J]. 液晶與顯示, 2022, 37(5): 573-580.
https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0041
監(jiān)制 | 張瑩、趙陽(yáng)
編輯 | 趙唯