北理工聯(lián)合中戲助力“數(shù)字梅蘭芳”大師高精度復(fù)現(xiàn)

發(fā)布日期：2021-11-03 供稿：光電學(xué)院攝影：光電學(xué)院

編輯：盛筠審核：董立泉閱讀次數(shù)：

10月28日，“數(shù)字梅蘭芳”大師復(fù)現(xiàn)項(xiàng)目啟動(dòng)儀式在北京梅蘭芳大劇院舉行，由北京理工大學(xué)參與研制的全國(guó)首個(gè)高精度京劇數(shù)字人——梅蘭芳孿生數(shù)字人驚艷亮相。“梅蘭芳孿生數(shù)字人”項(xiàng)目由中央戲劇學(xué)院、北京理工大學(xué)共同發(fā)起，騰訊公司提供技術(shù)支持，受到“北京高校卓越青年科學(xué)家”計(jì)劃資助，并得到了中科院自動(dòng)化研究所、中央美術(shù)學(xué)院、北京外國(guó)語(yǔ)大學(xué)等單位和梅蘭芳先生家人及弟子的大力支持，趙沁平院士等專(zhuān)家蒞臨現(xiàn)場(chǎng)并給出指導(dǎo)意見(jiàn)。

在北理工“虛擬數(shù)字人”技術(shù)的支持下，項(xiàng)目以梅蘭芳先生26歲為原型，對(duì)京劇大師梅蘭芳先生進(jìn)行全方位復(fù)現(xiàn)，打造在外貌、形體、語(yǔ)音、表演等各方面都接近真人的“梅蘭芳孿生數(shù)字人”，未來(lái)將不斷進(jìn)行模型實(shí)時(shí)化升級(jí)并在多個(gè)場(chǎng)景應(yīng)用落地，力爭(zhēng)打造國(guó)內(nèi)第一套真正意義上的可實(shí)時(shí)交互的“京劇數(shù)字人”。本項(xiàng)目的啟動(dòng)，標(biāo)志著由北京理工大學(xué)牽頭建立“延河高校人才培養(yǎng)聯(lián)盟”又取得了新的合作交流成果。

為了精準(zhǔn)還原梅蘭芳先生，北理工光電學(xué)院翁冬冬研究員團(tuán)隊(duì)針對(duì)現(xiàn)有技術(shù)進(jìn)行了多項(xiàng)升級(jí)。

由于無(wú)法采集到梅蘭芳先生的真人三維數(shù)據(jù)源，在收集了大量梅蘭芳先生的照片作為數(shù)字資產(chǎn)構(gòu)建的參照后，團(tuán)隊(duì)邀請(qǐng)中央美術(shù)學(xué)院的師生以歷史照片為依據(jù)完成了梅蘭芳先生的實(shí)體肖像，并通過(guò)技術(shù)團(tuán)隊(duì)與雕塑團(tuán)隊(duì)的反復(fù)磨合，最終完成了以三維數(shù)字化為目標(biāo)的真人雕像數(shù)字人制作。

團(tuán)隊(duì)用高精度激光掃描儀對(duì)雕像進(jìn)行掃描，從而獲得梅先生的基礎(chǔ)表情。在得到基本掃描模型后，通過(guò)數(shù)字化雕刻流程對(duì)模型的細(xì)節(jié)進(jìn)行處理。因?yàn)榈袼芩囆g(shù)本身不夠具象，因此團(tuán)隊(duì)還需要在在模型骨像、皮膚細(xì)節(jié)、毛發(fā)細(xì)節(jié)、眼神光等細(xì)節(jié)進(jìn)行補(bǔ)充完善。

團(tuán)隊(duì)在不斷打磨靜態(tài)模型后，達(dá)到和歷史照片一致后，再以真實(shí)立體裁剪為基礎(chǔ)構(gòu)建高逼真服飾，以民國(guó)留存布樣為范本制作逼真服飾材質(zhì)模擬，最終成功打造出梅蘭芳孿生數(shù)字人。

延伸閱讀：

“虛擬數(shù)字人”研究背景：

虛擬數(shù)字人是存在于數(shù)字世界的“人”，利用信息技術(shù)與人工智能技術(shù)將人體全身及肢體動(dòng)作全方位的進(jìn)行數(shù)字化、可視化復(fù)制，最終達(dá)到將現(xiàn)實(shí)生活中的人精確的在數(shù)字世界中模擬構(gòu)建出來(lái)。得益于深度學(xué)習(xí)算法的突破，近年來(lái)，虛擬數(shù)字人技術(shù)發(fā)展迅速，虛擬偶像主播、虛擬員工等虛擬人物進(jìn)入大眾視野，由智能驅(qū)動(dòng)的數(shù)字人產(chǎn)業(yè)漸入佳境。虛擬數(shù)字人技術(shù)是數(shù)字表演的核心支撐技術(shù)，在文化技術(shù)融合方面具有舉足輕重的作用。

北理工“虛擬數(shù)字人”技術(shù)優(yōu)勢(shì)：

1. 高逼真表情光場(chǎng)采集系統(tǒng)。采用光場(chǎng)采集技術(shù)，采集真實(shí)演員毫米級(jí)精度的三維數(shù)據(jù)，并以計(jì)算光學(xué)為基礎(chǔ)構(gòu)建物理屬性皮膚紋理，從而實(shí)現(xiàn)對(duì)真實(shí)演員的高復(fù)原度重建。通過(guò)先進(jìn)的實(shí)時(shí)渲染技術(shù)，將以大量數(shù)據(jù)為基礎(chǔ)的高逼真數(shù)字人資產(chǎn)實(shí)時(shí)呈現(xiàn)給用戶(hù)。

2. AI驅(qū)動(dòng)。面向高逼真實(shí)時(shí)數(shù)字人，以自研唇部高精度數(shù)據(jù)采集為基礎(chǔ)，采用新型深度神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)語(yǔ)音到唇形的精準(zhǔn)控制。結(jié)合多模態(tài)交互意圖理解，構(gòu)建基于知識(shí)圖譜的多輪語(yǔ)言對(duì)話(huà)平臺(tái)，從而實(shí)現(xiàn)在特定封閉領(lǐng)域內(nèi)高準(zhǔn)確率的自然人機(jī)對(duì)話(huà)。

3. 實(shí)時(shí)交互性。通過(guò)攝像頭實(shí)現(xiàn)對(duì)周?chē)鷪?chǎng)景及真實(shí)用戶(hù)的理解，并通過(guò)壓力傳感器、超聲傳感器、肌肉電傳感器等多模態(tài)數(shù)據(jù)實(shí)現(xiàn)對(duì)用戶(hù)意圖實(shí)時(shí)精準(zhǔn)理解。人們可以用VR、AR、桌面、全息等多種方式實(shí)現(xiàn)與數(shù)字人的實(shí)時(shí)交互。借由與人的互動(dòng)，可以讓用戶(hù)真切感受到數(shù)字人是“活生生”存在于這個(gè)世界。

北理工“虛擬數(shù)字人”科研團(tuán)隊(duì)：

北京理工大學(xué)光電學(xué)院翁冬冬研究員課題組，隸屬于王涌天教授領(lǐng)銜的北京市混合現(xiàn)實(shí)與新型顯示工程技術(shù)研究中心，同時(shí)依托丁剛毅教授為學(xué)科帶頭人的數(shù)字表演與仿真技術(shù)高精尖學(xué)科，開(kāi)展了大量文化科技融合的前沿研究。

課題組團(tuán)隊(duì)當(dāng)前主要從事虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)與人機(jī)交互方面的研究工作，團(tuán)隊(duì)參與的科研成果《交互式顯示關(guān)鍵技術(shù)及應(yīng)用》獲得2014年度教育部技術(shù)發(fā)明一等獎(jiǎng)和2017年度國(guó)家技術(shù)發(fā)明二等獎(jiǎng)、《頭戴式顯示技術(shù)研究及應(yīng)用》獲得2017年度中國(guó)光學(xué)工程學(xué)會(huì)創(chuàng)新技術(shù)獎(jiǎng)一等獎(jiǎng)。團(tuán)隊(duì)組織撰寫(xiě)了本領(lǐng)域多個(gè)國(guó)家和行業(yè)標(biāo)準(zhǔn)，并獲得2018年度中國(guó)虛擬現(xiàn)實(shí)與可視化產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟杰出貢獻(xiàn)獎(jiǎng)。項(xiàng)目團(tuán)隊(duì)研發(fā)的“交互式顯示關(guān)鍵技術(shù)及應(yīng)用”“虛實(shí)融合顯示技術(shù)”“新型顯示中的人機(jī)交互技術(shù)”“航天員心理舒緩系統(tǒng)”等關(guān)鍵技術(shù)和系統(tǒng)應(yīng)用于航天員訓(xùn)練中心、中科院軟件所、中國(guó)人民大學(xué)附屬中學(xué)等多個(gè)單位，在文物保護(hù)、教育科普、文化娛樂(lè)等重要行業(yè)及應(yīng)用領(lǐng)域得到成功轉(zhuǎn)化。