Email:[email protected]
一、所屬領域
人工智能,、圖像處理,、三維重建技術領域
二、項目介紹 1. 痛點問題 本項預期成果是解決復雜場景中目標三維數(shù)據重建,、驅動的關鍵技術,。 針對實際應用中復雜運動場景,例如剛性運動的交通工具,,變形移動行人等,,傳統(tǒng)的運動結構恢復方法在進行場景深度求解時無法確定每個單元結構的相對尺度,導致無法對復雜運動場景進行重建,。在現(xiàn)有的深度估計,、語義分割、位姿估計等相關技術,,存在識別精度低,、提取不到關鍵信息、應用場景單一等問題,,無法滿足大尺度場景應用的需求,。 2. 解決方案 本項目成果提出了一套面向目標、人體深度數(shù)據重建技術,,有效實現(xiàn)對復雜運動場景下人,、物的深度重建與驅動,有效解決現(xiàn)實場景目標的數(shù)字化模型生成與虛擬場景下的驅動映射問題,。提出多模態(tài)采集,、時空復用編碼攝像方法,獲取大景深,、高時空分辨,、豐富的精確場景視覺信息,基于超像素關系分析的深度重建方法,,包括目標超像素分割,,圖像幀匹配,運動關系判定,,通過時序傳播與概率模型更新實現(xiàn)實時深度重建,,提高最終三維重建模型的稠密度、魯棒性,、一致性和準確度,。構建了基于深度卷積神經網絡的目標實例檢測與位姿估計框架,,從目標對象觀測圖片提取其分割掩碼并不斷迭代更新,輸入深度卷積神經網絡進而得到目標6D位姿估計并進行迭代改進,,從而實現(xiàn)目標在動態(tài)復雜場景下的位姿還原,,克服了在光照、姿態(tài)變化,、遮擋等不良因素環(huán)境下的目標位姿不準確問題,,確保了目標6D位姿估計的魯棒性與準確性。 3. 競爭優(yōu)勢分析 與現(xiàn)有的同類技術相比,,本成果在深度重建的精細度,、魯棒性、一致性和準確度上具有明顯優(yōu)勢,,在物體檢測的準確性,、實時性具有明顯優(yōu)勢,在位姿估計中的旋轉,、平移的解耦表示方法與自監(jiān)督框架,,提高了位姿估計的準確性與實時性,并解決了對大量帶位姿標注的真實數(shù)據的依賴,。從而有效實現(xiàn)現(xiàn)實場景模型的數(shù)字化生成與虛擬場景下的模型驅動映射,。 4. 市場應用前景 本項成果應用領域多元,主力聚焦于元宇宙,、數(shù)字城市,、自動駕駛,、AR/VR,、機器人、制造業(yè)等大量依賴三維數(shù)據生成,、識別,、檢測、位姿估計與驅動應用的行業(yè),。 5. 發(fā)展規(guī)劃 隨著元宇宙,、數(shù)字城市、自動駕駛,、AR/VR,、機器人、制造業(yè)等概念的興起,,行業(yè)生態(tài)即將進入爆發(fā)期,。團隊擬通過技術許可方式,與多個領域有需求的企業(yè)開展合作,,形成一系列獨創(chuàng)的關鍵技術,,產生顯著的經濟和社會效益。 6. 知識產權情況 已申請相關發(fā)明專利3項,獲得授權1項,。
三,、合作需求 尋求在元宇宙、數(shù)字城市,、自動駕駛,、AR/VR、機器人,、制造業(yè)等領域有相關技術開發(fā),、市場推廣經驗,能推廣本技術落地的高科技企業(yè),,可以進行深度合作,。
四、團隊介紹 季向陽,,清華大學自動化系教授,,博導,國家杰出青年科學基金獲得者,,國家“萬人計劃”領軍人才,。主要從事視覺信息獲取與處理、計算機視覺,、機器學習等方面的研究,,先后承擔科技部“新一代人工智能”重大專項、國家自然科學基金儀器項目等,,近年來發(fā)表高水平學術論文100余篇,,獲授權發(fā)明專利60余項,曾獲2019年國家科技進步二等獎(第一完成人),,2010年國家科技進步二等獎(第二完成人),。
五、聯(lián)系方式 E-mail:[email protected] 成果編號:2022087