Email:[email protected]
其中,,MPEG-H 3D Audio可以提供沉浸式和個性化音頻服務(wù),而MPEG-I是為虛擬和增強現(xiàn)實應(yīng)用程序開發(fā)的全新標(biāo)準(zhǔn),,以提供更自然,、逼真的VR體驗。相比 MPEG-H,,MPEG-I能夠提供更優(yōu)秀的互動性和沉浸感,,并將支持6DOF,,用戶可以在虛擬空間內(nèi)移動,并與虛擬空間物品進行交互,。3GPP 沉浸式語音及音頻服務(wù)(IVAS)已于2017年立項,,從版本15開始已經(jīng)演進到版本18,其中包括VR流媒體服務(wù),、沉浸式語音及音頻編碼,、提升VR用戶體驗、邊緣計算,、場景探索,、觸覺和媒體服務(wù),SA4沉浸式多媒體類型和內(nèi)容格式,,XR相關(guān)業(yè)務(wù),,QoS、QoE指標(biāo)等,。國內(nèi),AVS工作組從2016年起,,開始對三維聲和互動式音頻開展研討和技術(shù)征集,,2018年發(fā)布GB/T 33475.2《信息技術(shù) 高效多媒體編碼 第3部分:音頻》,支持三維聲音頻編碼,;2021年立項國家標(biāo)準(zhǔn)計劃《信息技術(shù) 虛擬現(xiàn)實內(nèi)容表達(dá) 第3部分:音頻》,,規(guī)定了虛擬現(xiàn)實設(shè)備及相關(guān)系統(tǒng)中的沉浸式音頻內(nèi)容的表達(dá)方式,提出了包括元數(shù)據(jù)和渲染器的系統(tǒng)構(gòu)架及接口規(guī)范,,適用于全景音頻錄播,、沉浸式音頻通信、虛擬現(xiàn)實音頻交互等領(lǐng)域的音頻采集,、傳輸,、回放系統(tǒng);2022年,,世界超高清產(chǎn)業(yè)聯(lián)盟(UWA)聯(lián)合AVS工作組,,共同制定面向三維聲音頻編碼的自主編碼標(biāo)準(zhǔn),聯(lián)合發(fā)布T/UWA 009.1—2022年《三維聲音技術(shù)規(guī)范 第1部分:編碼分發(fā)與呈現(xiàn)》和T/AI 109.3—2023《信息技術(shù) 智能媒體編碼 第 3 部分:沉浸式音頻》,,即三維菁彩聲Audio Vivid/AVS3P3音頻標(biāo)準(zhǔn),。三維菁彩聲(Audio Vivid)針對不同的信號類型采用不同的技術(shù)工具對輸入信號進行編解碼。采用多聲道編碼技術(shù)去除多聲道信號間的信息冗余,。采用HOA空間編碼技術(shù)去除HOA各聲道信號間的空間幾何信息冗余,。采用基于心理聲學(xué)模型的預(yù)處理和基于AI的量化,熵編碼技術(shù)去除單聲道,、對象音頻信號中的信息冗余,。通過揚聲器或耳機完成最終渲染輸出,。
接口協(xié)議
1
概述
隨著虛擬現(xiàn)實產(chǎn)業(yè)的蓬勃發(fā)展與廣泛應(yīng)用,設(shè)備與設(shè)備之間,、軟件與設(shè)備之間的數(shù)據(jù)交互越來越被建設(shè)者和使用者所重視,,從而構(gòu)建一套標(biāo)準(zhǔn)的數(shù)據(jù)傳輸協(xié)議規(guī)范在虛擬現(xiàn)實設(shè)備、軟件和平臺之間得到了廣泛關(guān)注,。通過這些接口協(xié)議,,不同廠商、不同技術(shù)的虛擬現(xiàn)實設(shè)備和軟件之間可以互相通信,,并為開發(fā)者構(gòu)建跨平臺的虛擬現(xiàn)實應(yīng)用內(nèi)容提供數(shù)據(jù)傳輸基礎(chǔ)支撐,。
國外已經(jīng)在虛擬現(xiàn)實接口協(xié)議的標(biāo)準(zhǔn)化方面積累了一定經(jīng)驗,其中OpenXR作為一個開放標(biāo)準(zhǔn)受到了全球范圍內(nèi)的廣泛關(guān)注和采用,,為不同廠商的虛擬現(xiàn)實設(shè)備提供了互操作性,。