Email:[email protected]
Google也發(fā)布了開源庫Draco,用于壓縮和解壓縮 3D 幾何網(wǎng)格和點(diǎn)云。
目前,點(diǎn)云編碼主要分為兩種技術(shù)路線:基于視頻的點(diǎn)云編碼方法和基于幾何的點(diǎn)云編碼方法。基于視頻的點(diǎn)云編碼基于視覺體積視頻編碼V3C的框架,其方法主要涉及塊(Patch)劃分重組、幾何和紋理圖像的生成、填充及編碼、輔助劃分信息以及占位圖的編碼等新技術(shù)。基于幾何的點(diǎn)云編碼方法主要涉及八叉樹表征、屬性預(yù)處理、屬性變換、變換/預(yù)測、屬性量化、屬性熵編碼等新技術(shù)。
未來,點(diǎn)云編碼技術(shù)發(fā)展將圍繞下列方面展開:更高效的幾何表征方法及屬性預(yù)測技術(shù)、更靈活的編碼速度配置,支持多種延遲場景,比如離線轉(zhuǎn)碼、云游戲、視頻直播、視頻會議等,兼容各終端設(shè)備,實(shí)現(xiàn)場景自適應(yīng),提高編碼速度(幀間并行加速、預(yù)分析和后處理加速),智能碼率控制等。
5)動態(tài)3D網(wǎng)格編碼
3D網(wǎng)格已成為視覺沉浸媒體主要的數(shù)據(jù)格式之一。一個3D網(wǎng)格由以下部分組成:拓?fù)湫畔ⅰ缀涡畔ⅰ⒂成湫畔ⅰ㈨旤c(diǎn)屬性、屬性映射。上述五部分中,若任一部分包含時變,即為動態(tài)網(wǎng)格。相較于靜態(tài)網(wǎng)格,一個動態(tài)網(wǎng)格序列的數(shù)據(jù)量更為龐大,因?yàn)樗罅侩S時間變化的信息。ISO/IEC JTC 1/SC 29/WG7正在計(jì)劃開發(fā)一種新的3D網(wǎng)格壓縮標(biāo)準(zhǔn),用以壓縮具有時變拓?fù)湫畔⒑涂蛇x時變屬性映射的動態(tài)網(wǎng)格。該標(biāo)準(zhǔn)面向各類應(yīng)用場景,如實(shí)時沉浸式通信、自由視點(diǎn)視頻、AR和VR等。SC 29/WG7計(jì)劃基于視覺體積視頻編碼(V3C)的框架進(jìn)行技術(shù)集成和擴(kuò)展。目前,國內(nèi)標(biāo)準(zhǔn)工作組暫未開設(shè)相關(guān)專題組。
未來,3D網(wǎng)格編碼技術(shù)的發(fā)展特點(diǎn)大致如下:支持靜態(tài)和動態(tài)網(wǎng)格編碼、支持有損和 無損壓縮、支持隨機(jī)訪問、低延遲、具有容錯能力、支持并行編碼和解。
音頻編碼
當(dāng)前,音頻編碼技術(shù)正在向深度學(xué)習(xí)等人工智能技術(shù)相結(jié)合的方向發(fā)展,通過深度學(xué)習(xí)算法提高音頻編碼的壓縮碼率,降低音頻編碼的復(fù)雜度。同時,為了滿足虛擬現(xiàn)實(shí)等應(yīng)用需求,提供沉浸式和虛實(shí)融合的應(yīng)用體驗(yàn),實(shí)現(xiàn)3DoF甚至6DoF的聲音感受,靈活適用各類場景,從個性化音頻制作到基于場景的個性化渲染回放,高質(zhì)量、低延遲、自適應(yīng)可變速率、定位準(zhǔn)確的三維聲編碼技術(shù)成為當(dāng)前音頻編碼技術(shù)的焦點(diǎn),國內(nèi)外均針對三維聲編解碼技術(shù)和標(biāo)準(zhǔn)開展了相布局和研究工作。
國際上,ISO/IEC JTC 1/SC 29下設(shè)WG6 “MPEG音頻組”制定了MPEG-H 3D Audio(ISO/IEC 23008-3)標(biāo)準(zhǔn),目前正在開展MPEG-I音頻編碼標(biāo)準(zhǔn)制定工作。