揭秘“挑戰(zhàn)杯”數(shù)字人的“前世今生”
發(fā)布日期：2023-03-22 供稿：《中國科學(xué)報》 攝影：校園網(wǎng)
編輯：吳楠 審核：藺偉 閱讀次數(shù)：【編者按】3月19日,，第十三屆“挑戰(zhàn)杯”中國大學(xué)生創(chuàng)業(yè)計劃競賽圓滿收官,，北京理工大學(xué)以7金1銀金獎總數(shù)第一、總分第一的優(yōu)異成績捧得最高榮譽“挑戰(zhàn)杯”,！作為本次大賽的承辦方,，北理工充分發(fā)揮科技優(yōu)勢,，創(chuàng)新數(shù)字辦賽，打造了001號數(shù)字參賽者“靈”,，受到了社會廣泛關(guān)注,，《中國科學(xué)報》等多家媒體報道了數(shù)字人誕生背后的故事。
《數(shù)字少年》MV中,，“靈”（左）迎接參賽選手,。
“主持人好！大家好,！我是本屆‘挑戰(zhàn)杯’的001號參賽選手,，我叫‘靈’?！币粋€扎著高馬尾辮,，穿著白襯衫、灰裙的“女孩”，在藍色大屏幕中向全國觀眾打招呼,。
3月17日是“靈”正式“上崗”的第一天,。此前，她出現(xiàn)在第十三屆“挑戰(zhàn)杯”中國大學(xué)生創(chuàng)業(yè)計劃競賽（以下簡稱“挑戰(zhàn)杯”）主題曲《數(shù)字少年》當中,。作為“挑戰(zhàn)杯”數(shù)字化參賽的引導(dǎo)者,，她站在石灰色的大門前，輕擺著右臂,，接引著“挑戰(zhàn)杯”參賽選手入場,，身后晨光熹微。
3月17日至19日,，第十三屆“挑戰(zhàn)杯”中國大學(xué)生創(chuàng)業(yè)計劃競賽在北京理工大學(xué)舉行,。與往屆比賽不同，這屆“挑戰(zhàn)杯”大賽是元宇宙在中國高校第一次大規(guī)模運用,，“靈”也是“挑戰(zhàn)杯”辦賽史上第一位數(shù)字人,。隔著屏幕，不少大學(xué)生驚呼“太酷了,！”
“靈”是怎么誕生的,？帶著這份好奇，讓我們一起走進光電學(xué)院教授翁冬冬的實驗室,。
能換裝,、換發(fā)型的數(shù)字人
采集數(shù)字人表情的“大球”
走進一個光線幽暗的實驗室，一旁的攝像頭星羅棋布包裹成一個“大球”,，仿佛來到了一個星際空間,。這里就是數(shù)字人的誕生地。
“大球”里共有80個三角面,，42個頂點和120條邊,，邊的中點和頂點上安裝光源，實際光源數(shù)量為156個,。球形燈光舞臺圍繞其中心均勻排布36臺佳能850D相機,，用來采集各個視角下的人臉圖像、極限表情和人臉材質(zhì),。
演員坐在球的正中央,，在快門頻繁開合、后臺算法的運算下,，最終制作團隊重建高精度人臉三維模型,、高精度多通道人臉材質(zhì)。在“大球”中,，生成的數(shù)字人有數(shù)字明星李星瀾,、手語主持人千言等,。
與以往的數(shù)字人誕生有所不同,，此次團隊開發(fā)的“靈”,，完全由數(shù)字生成，并沒有真人原型,。她由800多根骨骼協(xié)同控制其面部表情,，同時由82個材質(zhì)參數(shù)的變化進行面部材質(zhì)的動態(tài)調(diào)整，成為一個栩栩如生的數(shù)字人,。
“挑戰(zhàn)杯”開幕上“靈”的登場
“作為‘挑戰(zhàn)杯’數(shù)字化辦賽的形象大使,，‘靈’的登場將開啟數(shù)字技術(shù)基礎(chǔ)上的辦賽辦會新模式?！毙F委書記劉淵說,。
據(jù)介紹，“靈”是本屆“挑戰(zhàn)杯”數(shù)字化參賽的引導(dǎo)者,。與“靈”搭檔的,，還有一名數(shù)字人“境”，作為本屆“挑戰(zhàn)杯”元宇宙世界的引導(dǎo)者,?！办`”與“境”共同組成“靈境”一詞，是錢學(xué)森對“Virtual Reality”（虛擬現(xiàn)實）的中譯,。
早期的數(shù)字人多基于二維體系構(gòu)建而成,，由于解耦程度比較低，換衣服,、換發(fā)型,、換光線等效果都難以實現(xiàn)。
如今,，技術(shù)已發(fā)展到在三維體系中制作數(shù)字人,，“二維與三維最大的區(qū)別，有點像電影與游戲的區(qū)別——電影拍完不能改,，而游戲是由玩家控制,。三維下的數(shù)字人，表情,、服裝,、頭發(fā)甚至動作都可實時變換，而二維體系下的數(shù)字人很難做到,?！蔽潭f。
比如,，“靈”可以換裝,，在剛出場時穿著生活裝，而到了正式場合就換成了禮服；而臉部光線也會隨著白天,、黑夜有所變化,，讓表情更加靈動自然。此外,，隨著話語內(nèi)容的不同,，“靈”還可以做出豐富多樣的播報動作。
捏臉的有意思之處
在元宇宙中,，數(shù)字人是不可或缺的角色,。
7年前，北京理工大學(xué)與其他高校合作成立北京市未來影像高精尖中心,，當時翁冬冬接到的任務(wù)是做“沉浸式敘事”,，簡單來說，就是要在虛擬現(xiàn)實空間中把故事重新呈現(xiàn)出來,。研究之初,，翁冬冬便發(fā)現(xiàn)了一個重要問題——沒有“演員”。為此,，他們決定做高逼真數(shù)字人,。
在做超寫實數(shù)字人之前，也有人問過翁冬冬,，“95后”Z時代喜歡二次元,，為什么不考慮做二次元？
事實上,，二次元是小眾文化,，真人參演的影視劇遠比二次元人物多得多。那么,，是真人,，就一定要像一個人。
把表情做的生動是第一步,?！皵?shù)字人的表情應(yīng)該非常豐富，能夠根據(jù)控制需要,，準確的做出喜,、怒、哀,、樂各種表情,。同時數(shù)字人的表情還應(yīng)該具有個性化，使得每個數(shù)字人看起來都與眾不同,?！?團隊中負責(zé)表情驅(qū)動的博士生包儀華解釋道,。
提高“靈”面部模型數(shù)據(jù)的精度
第二步是精確采集人的表情。為此,，系統(tǒng)需要非常靈敏,，即使演員做出了一個非常微小的表情動作，系統(tǒng)也能夠立刻準確的將其捕捉到,?！叭缃窈撩准壍牟杉芽梢宰龅?，但對于人臉僅僅是精確還不夠,，還要保證采集能夠在一個很高的速度下完成?！蔽潭f,。
做人臉之所以困難，是因為我們對人臉太熟悉,，但同時又存在太多不同的語言體系來對其進行描述,。包儀華表示，“最害怕”的是和藝術(shù)學(xué)老師在一起討論數(shù)字人,，“他們常說數(shù)字人缺少神韻”,。
“神韻是啥？能否說具體一點,？”
“我已經(jīng)說得很具體了,，就是沒神?！?/p>
之前,，翁冬冬團隊在做“數(shù)字梅蘭芳”項目時，就經(jīng)常出現(xiàn)這樣的“尬聊”,，“我們拿著尺子去量,，你看臉、鼻子的距離一樣,，但拼合在一起,，藝術(shù)學(xué)老師就是覺得不一樣，這就是人臉的有意思之處,?！?/p>
讓數(shù)字人去打一場比賽 測試中的“靈” 美國傳播學(xué)家艾伯特·梅拉比安對于溝通提出一個公式：溝通時信息的全部表達="7%語調(diào)+38%聲音+55%肢體語言。 看到這個比例,，你也許會很吃驚,，原來信息大部分是通過肢體語言和表情來傳達。但是語言,、表情和動作等通道之間的不協(xié)調(diào),，卻會使得數(shù)字人產(chǎn)生錯誤的表達,。比如，一個人嘴上說著“很有道理”,，眼睛里卻流露出輕蔑的表情,，你會相信他這句話是真的嗎？ 翁冬冬介紹,，相比較從前只有聲音,、沒有形象的人工智能，有形象的智能數(shù)字人在是否“像人”方面,，被用戶寄予了更高的期望和要求,。一個簡單的“不當行為”就可能暴露出數(shù)字人的“虛假本質(zhì)”。比如,，銀行入口站著一個“接待員”,，有顧客經(jīng)過時，真人的目光會跟隨,、會跟顧客打招呼,，而數(shù)字人可能無動于衷。 翁冬冬一直在想“要不要給數(shù)字人賦予需求,，因為有了需求的智能體才會像人一樣去主動探索世界”,。比如讓數(shù)字人會餓，會有社交焦慮等,。 他把這一想法放在“靈”身上實現(xiàn),，便是給予她參賽選手的身份，讓她有“競爭”的需求,。站在元宇宙的舞臺中央,，“靈”作為北理工“老智星”團隊的參賽選手，落落大方地為臺下“觀眾”介紹這款專為老年人設(shè)計的,，專門對抗老年人智力流失的VR游戲,。他們還引入了由清華大學(xué)團隊開發(fā)的、類似ChatGPT功能的聆心智能,。 “你們所需要的啟動資金是多少,？” “我的啟動資金是20萬元，我希望以轉(zhuǎn)讓股權(quán)的方式吸引到一位投資人加入,，以促進我們公司更好更快地發(fā)展,。”流利地給出答案同時,，“靈”目光流轉(zhuǎn),，很自然地做出了一個歡迎的手勢。 有意思的是,，考慮再三,，翁冬冬最終還是決定把“靈”的賽場形象做得“假一點”,。“真是擔(dān)心選手們把‘她’與真人混淆起來,?！蔽潭Φ馈?/p>
