揭秘“挑戰(zhàn)杯”數(shù)字人的“前世今生”
發(fā)布日期:2023-03-22 供稿:《中國(guó)科學(xué)報(bào)》 攝影:校園網(wǎng)
編輯:吳楠 審核:藺偉 閱讀次數(shù):【編者按】3月19日,,第十三屆“挑戰(zhàn)杯”中國(guó)大學(xué)生創(chuàng)業(yè)計(jì)劃競(jìng)賽圓滿收官,,北京理工大學(xué)以7金1銀金獎(jiǎng)總數(shù)第一、總分第一的優(yōu)異成績(jī)捧得最高榮譽(yù)“挑戰(zhàn)杯”!作為本次大賽的承辦方,,北理工充分發(fā)揮科技優(yōu)勢(shì),,創(chuàng)新數(shù)字辦賽,,打造了001號(hào)數(shù)字參賽者“靈”,,受到了社會(huì)廣泛關(guān)注,《中國(guó)科學(xué)報(bào)》等多家媒體報(bào)道了數(shù)字人誕生背后的故事,。
《數(shù)字少年》MV中,,“靈”(左)迎接參賽選手。
“主持人好,!大家好,!我是本屆‘挑戰(zhàn)杯’的001號(hào)參賽選手,我叫‘靈’,?!币粋€(gè)扎著高馬尾辮,穿著白襯衫,、灰裙的“女孩”,,在藍(lán)色大屏幕中向全國(guó)觀眾打招呼。
3月17日是“靈”正式“上崗”的第一天,。此前,,她出現(xiàn)在第十三屆“挑戰(zhàn)杯”中國(guó)大學(xué)生創(chuàng)業(yè)計(jì)劃競(jìng)賽(以下簡(jiǎn)稱“挑戰(zhàn)杯”)主題曲《數(shù)字少年》當(dāng)中。作為“挑戰(zhàn)杯”數(shù)字化參賽的引導(dǎo)者,,她站在石灰色的大門前,,輕擺著右臂,接引著“挑戰(zhàn)杯”參賽選手入場(chǎng),,身后晨光熹微,。
3月17日至19日,第十三屆“挑戰(zhàn)杯”中國(guó)大學(xué)生創(chuàng)業(yè)計(jì)劃競(jìng)賽在北京理工大學(xué)舉行,。與往屆比賽不同,,這屆“挑戰(zhàn)杯”大賽是元宇宙在中國(guó)高校第一次大規(guī)模運(yùn)用,,“靈”也是“挑戰(zhàn)杯”辦賽史上第一位數(shù)字人。隔著屏幕,,不少大學(xué)生驚呼“太酷了,!”
“靈”是怎么誕生的?帶著這份好奇,,讓我們一起走進(jìn)光電學(xué)院教授翁冬冬的實(shí)驗(yàn)室。
能換裝,、換發(fā)型的數(shù)字人
采集數(shù)字人表情的“大球”
走進(jìn)一個(gè)光線幽暗的實(shí)驗(yàn)室,,一旁的攝像頭星羅棋布包裹成一個(gè)“大球”,仿佛來(lái)到了一個(gè)星際空間,。這里就是數(shù)字人的誕生地,。
“大球”里共有80個(gè)三角面,42個(gè)頂點(diǎn)和120條邊,,邊的中點(diǎn)和頂點(diǎn)上安裝光源,,實(shí)際光源數(shù)量為156個(gè)。球形燈光舞臺(tái)圍繞其中心均勻排布36臺(tái)佳能850D相機(jī),,用來(lái)采集各個(gè)視角下的人臉圖像,、極限表情和人臉材質(zhì)。
演員坐在球的正中央,,在快門頻繁開合,、后臺(tái)算法的運(yùn)算下,最終制作團(tuán)隊(duì)重建高精度人臉三維模型,、高精度多通道人臉材質(zhì),。在“大球”中,生成的數(shù)字人有數(shù)字明星李星瀾,、手語(yǔ)主持人千言等,。
與以往的數(shù)字人誕生有所不同,此次團(tuán)隊(duì)開發(fā)的“靈”,,完全由數(shù)字生成,,并沒有真人原型。她由800多根骨骼協(xié)同控制其面部表情,,同時(shí)由82個(gè)材質(zhì)參數(shù)的變化進(jìn)行面部材質(zhì)的動(dòng)態(tài)調(diào)整,,成為一個(gè)栩栩如生的數(shù)字人。
“挑戰(zhàn)杯”開幕上“靈”的登場(chǎng)
“作為‘挑戰(zhàn)杯’數(shù)字化辦賽的形象大使,,‘靈’的登場(chǎng)將開啟數(shù)字技術(shù)基礎(chǔ)上的辦賽辦會(huì)新模式,。”校團(tuán)委書記劉淵說,。
據(jù)介紹,,“靈”是本屆“挑戰(zhàn)杯”數(shù)字化參賽的引導(dǎo)者,。與“靈”搭檔的,還有一名數(shù)字人“境”,,作為本屆“挑戰(zhàn)杯”元宇宙世界的引導(dǎo)者,。“靈”與“境”共同組成“靈境”一詞,,是錢學(xué)森對(duì)“Virtual Reality”(虛擬現(xiàn)實(shí))的中譯,。
早期的數(shù)字人多基于二維體系構(gòu)建而成,由于解耦程度比較低,,換衣服,、換發(fā)型、換光線等效果都難以實(shí)現(xiàn),。
如今,,技術(shù)已發(fā)展到在三維體系中制作數(shù)字人,“二維與三維最大的區(qū)別,,有點(diǎn)像電影與游戲的區(qū)別——電影拍完不能改,,而游戲是由玩家控制。三維下的數(shù)字人,,表情,、服裝、頭發(fā)甚至動(dòng)作都可實(shí)時(shí)變換,,而二維體系下的數(shù)字人很難做到,。”翁冬冬說,。
比如,,“靈”可以換裝,在剛出場(chǎng)時(shí)穿著生活裝,,而到了正式場(chǎng)合就換成了禮服,;而臉部光線也會(huì)隨著白天、黑夜有所變化,,讓表情更加靈動(dòng)自然,。此外,隨著話語(yǔ)內(nèi)容的不同,,“靈”還可以做出豐富多樣的播報(bào)動(dòng)作,。
捏臉的有意思之處
在元宇宙中,數(shù)字人是不可或缺的角色,。
7年前,,北京理工大學(xué)與其他高校合作成立北京市未來(lái)影像高精尖中心,當(dāng)時(shí)翁冬冬接到的任務(wù)是做“沉浸式敘事”,,簡(jiǎn)單來(lái)說,,就是要在虛擬現(xiàn)實(shí)空間中把故事重新呈現(xiàn)出來(lái),。研究之初,翁冬冬便發(fā)現(xiàn)了一個(gè)重要問題——沒有“演員”,。為此,,他們決定做高逼真數(shù)字人。
在做超寫實(shí)數(shù)字人之前,,也有人問過翁冬冬,,“95后”Z時(shí)代喜歡二次元,為什么不考慮做二次元,?
事實(shí)上,,二次元是小眾文化,真人參演的影視劇遠(yuǎn)比二次元人物多得多,。那么,是真人,,就一定要像一個(gè)人,。
把表情做的生動(dòng)是第一步?!皵?shù)字人的表情應(yīng)該非常豐富,,能夠根據(jù)控制需要,準(zhǔn)確的做出喜,、怒,、哀、樂各種表情,。同時(shí)數(shù)字人的表情還應(yīng)該具有個(gè)性化,,使得每個(gè)數(shù)字人看起來(lái)都與眾不同?!?團(tuán)隊(duì)中負(fù)責(zé)表情驅(qū)動(dòng)的博士生包儀華解釋道,。
提高“靈”面部模型數(shù)據(jù)的精度
第二步是精確采集人的表情。為此,,系統(tǒng)需要非常靈敏,,即使演員做出了一個(gè)非常微小的表情動(dòng)作,系統(tǒng)也能夠立刻準(zhǔn)確的將其捕捉到,?!叭缃窈撩准?jí)的采集已可以做到,但對(duì)于人臉僅僅是精確還不夠,,還要保證采集能夠在一個(gè)很高的速度下完成,。”翁冬冬說,。
做人臉之所以困難,,是因?yàn)槲覀儗?duì)人臉太熟悉,,但同時(shí)又存在太多不同的語(yǔ)言體系來(lái)對(duì)其進(jìn)行描述。包儀華表示,,“最害怕”的是和藝術(shù)學(xué)老師在一起討論數(shù)字人,,“他們常說數(shù)字人缺少神韻”。
“神韻是啥,?能否說具體一點(diǎn),?”
“我已經(jīng)說得很具體了,就是沒神,?!?/p>
之前,翁冬冬團(tuán)隊(duì)在做“數(shù)字梅蘭芳”項(xiàng)目時(shí),,就經(jīng)常出現(xiàn)這樣的“尬聊”,,“我們拿著尺子去量,你看臉,、鼻子的距離一樣,,但拼合在一起,藝術(shù)學(xué)老師就是覺得不一樣,,這就是人臉的有意思之處,。”
讓數(shù)字人去打一場(chǎng)比賽
測(cè)試中的“靈”
美國(guó)傳播學(xué)家艾伯特·梅拉比安對(duì)于溝通提出一個(gè)公式:溝通時(shí)信息的全部表達(dá)="7%語(yǔ)調(diào)+38%聲音+55%肢體語(yǔ)言,。
看到這個(gè)比例,,你也許會(huì)很吃驚,原來(lái)信息大部分是通過肢體語(yǔ)言和表情來(lái)傳達(dá),。但是語(yǔ)言,、表情和動(dòng)作等通道之間的不協(xié)調(diào),卻會(huì)使得數(shù)字人產(chǎn)生錯(cuò)誤的表達(dá),。比如,,一個(gè)人嘴上說著“很有道理”,眼睛里卻流露出輕蔑的表情,,你會(huì)相信他這句話是真的嗎,?
翁冬冬介紹,相比較從前只有聲音,、沒有形象的人工智能,,有形象的智能數(shù)字人在是否“像人”方面,被用戶寄予了更高的期望和要求,。一個(gè)簡(jiǎn)單的“不當(dāng)行為”就可能暴露出數(shù)字人的“虛假本質(zhì)”,。比如,銀行入口站著一個(gè)“接待員”,有顧客經(jīng)過時(shí),,真人的目光會(huì)跟隨,、會(huì)跟顧客打招呼,而數(shù)字人可能無(wú)動(dòng)于衷,。
翁冬冬一直在想“要不要給數(shù)字人賦予需求,,因?yàn)橛辛诵枨蟮闹悄荏w才會(huì)像人一樣去主動(dòng)探索世界”。比如讓數(shù)字人會(huì)餓,,會(huì)有社交焦慮等,。
他把這一想法放在“靈”身上實(shí)現(xiàn),便是給予她參賽選手的身份,,讓她有“競(jìng)爭(zhēng)”的需求,。站在元宇宙的舞臺(tái)中央,“靈”作為北理工“老智星”團(tuán)隊(duì)的參賽選手,,落落大方地為臺(tái)下“觀眾”介紹這款專為老年人設(shè)計(jì)的,,專門對(duì)抗老年人智力流失的VR游戲。他們還引入了由清華大學(xué)團(tuán)隊(duì)開發(fā)的,、類似ChatGPT功能的聆心智能,。
“你們所需要的啟動(dòng)資金是多少?”
“我的啟動(dòng)資金是20萬(wàn)元,,我希望以轉(zhuǎn)讓股權(quán)的方式吸引到一位投資人加入,以促進(jìn)我們公司更好更快地發(fā)展,?!绷骼亟o出答案同時(shí),“靈”目光流轉(zhuǎn),,很自然地做出了一個(gè)歡迎的手勢(shì),。
有意思的是,考慮再三,,翁冬冬最終還是決定把“靈”的賽場(chǎng)形象做得“假一點(diǎn)”,。“真是擔(dān)心選手們把‘她’與真人混淆起來(lái),?!蔽潭Φ馈?/p>
- 北京理工大學(xué)論壇,、講壇,、講座、年會(huì),、 報(bào)告會(huì),、研討會(huì)審批流程
- 北京理工大學(xué)形象識(shí)別系統(tǒng)使用流程
- 北京理工大學(xué)校園展覽展示活動(dòng)審批流程
- 北京理工大學(xué)新聞?lì)愋畔l(fā)布保密審查工作流程
- 北京理工大學(xué)對(duì)外宣傳相關(guān)事項(xiàng)審批流程
- 北京理工大學(xué)校園網(wǎng)站建設(shè)(關(guān)停)備案工作流程
- 北京理工大學(xué)校園新媒體公共賬號(hào)開設(shè)(注銷)備案工作流程
- 北京理工大學(xué)視頻媒體資源復(fù)制申請(qǐng)流程