揭秘“挑戰(zhàn)杯”數(shù)字人的“前世今生”
發(fā)布日期：2023-03-22 供稿：《中國科學(xué)報》 攝影：校園網(wǎng)
編輯：吳楠 審核：藺偉 閱讀次數(shù)：【編者按】3月19日，第十三屆“挑戰(zhàn)杯”中國大學(xué)生創(chuàng)業(yè)計劃競賽圓滿收官，北京理工大學(xué)以7金1銀金獎總數(shù)第一、總分第一的優(yōu)異成績捧得最高榮譽“挑戰(zhàn)杯”！作為本次大賽的承辦方，北理工充分發(fā)揮科技優(yōu)勢，創(chuàng)新數(shù)字辦賽，打造了001號數(shù)字參賽者“靈”，受到了社會廣泛關(guān)注，《中國科學(xué)報》等多家媒體報道了數(shù)字人誕生背后的故事。
《數(shù)字少年》MV中，“靈”（左）迎接參賽選手。
“主持人好！大家好！我是本屆‘挑戰(zhàn)杯’的001號參賽選手，我叫‘靈’。”一個扎著高馬尾辮，穿著白襯衫、灰裙的“女孩”，在藍(lán)色大屏幕中向全國觀眾打招呼。
3月17日是“靈”正式“上崗”的第一天。此前，她出現(xiàn)在第十三屆“挑戰(zhàn)杯”中國大學(xué)生創(chuàng)業(yè)計劃競賽（以下簡稱“挑戰(zhàn)杯”）主題曲《數(shù)字少年》當(dāng)中。作為“挑戰(zhàn)杯”數(shù)字化參賽的引導(dǎo)者，她站在石灰色的大門前，輕擺著右臂，接引著“挑戰(zhàn)杯”參賽選手入場，身后晨光熹微。
3月17日至19日，第十三屆“挑戰(zhàn)杯”中國大學(xué)生創(chuàng)業(yè)計劃競賽在北京理工大學(xué)舉行。與往屆比賽不同，這屆“挑戰(zhàn)杯”大賽是元宇宙在中國高校第一次大規(guī)模運用，“靈”也是“挑戰(zhàn)杯”辦賽史上第一位數(shù)字人。隔著屏幕，不少大學(xué)生驚呼“太酷了！”
“靈”是怎么誕生的？帶著這份好奇，讓我們一起走進(jìn)光電學(xué)院教授翁冬冬的實驗室。
能換裝、換發(fā)型的數(shù)字人
采集數(shù)字人表情的“大球”
走進(jìn)一個光線幽暗的實驗室，一旁的攝像頭星羅棋布包裹成一個“大球”，仿佛來到了一個星際空間。這里就是數(shù)字人的誕生地。
“大球”里共有80個三角面，42個頂點和120條邊，邊的中點和頂點上安裝光源，實際光源數(shù)量為156個。球形燈光舞臺圍繞其中心均勻排布36臺佳能850D相機(jī)，用來采集各個視角下的人臉圖像、極限表情和人臉材質(zhì)。
演員坐在球的正中央，在快門頻繁開合、后臺算法的運算下，最終制作團(tuán)隊重建高精度人臉三維模型、高精度多通道人臉材質(zhì)。在“大球”中，生成的數(shù)字人有數(shù)字明星李星瀾、手語主持人千言等。
與以往的數(shù)字人誕生有所不同，此次團(tuán)隊開發(fā)的“靈”，完全由數(shù)字生成，并沒有真人原型。她由800多根骨骼協(xié)同控制其面部表情，同時由82個材質(zhì)參數(shù)的變化進(jìn)行面部材質(zhì)的動態(tài)調(diào)整，成為一個栩栩如生的數(shù)字人。
“挑戰(zhàn)杯”開幕上“靈”的登場
“作為‘挑戰(zhàn)杯’數(shù)字化辦賽的形象大使，‘靈’的登場將開啟數(shù)字技術(shù)基礎(chǔ)上的辦賽辦會新模式。”校團(tuán)委書記劉淵說。
據(jù)介紹，“靈”是本屆“挑戰(zhàn)杯”數(shù)字化參賽的引導(dǎo)者。與“靈”搭檔的，還有一名數(shù)字人“境”，作為本屆“挑戰(zhàn)杯”元宇宙世界的引導(dǎo)者。“靈”與“境”共同組成“靈境”一詞，是錢學(xué)森對“Virtual Reality”（虛擬現(xiàn)實）的中譯。
早期的數(shù)字人多基于二維體系構(gòu)建而成，由于解耦程度比較低，換衣服、換發(fā)型、換光線等效果都難以實現(xiàn)。
如今，技術(shù)已發(fā)展到在三維體系中制作數(shù)字人，“二維與三維最大的區(qū)別，有點像電影與游戲的區(qū)別——電影拍完不能改，而游戲是由玩家控制。三維下的數(shù)字人，表情、服裝、頭發(fā)甚至動作都可實時變換，而二維體系下的數(shù)字人很難做到。”翁冬冬說。
比如，“靈”可以換裝，在剛出場時穿著生活裝，而到了正式場合就換成了禮服；而臉部光線也會隨著白天、黑夜有所變化，讓表情更加靈動自然。此外，隨著話語內(nèi)容的不同，“靈”還可以做出豐富多樣的播報動作。
捏臉的有意思之處
在元宇宙中，數(shù)字人是不可或缺的角色。
7年前，北京理工大學(xué)與其他高校合作成立北京市未來影像高精尖中心，當(dāng)時翁冬冬接到的任務(wù)是做“沉浸式敘事”，簡單來說，就是要在虛擬現(xiàn)實空間中把故事重新呈現(xiàn)出來。研究之初，翁冬冬便發(fā)現(xiàn)了一個重要問題——沒有“演員”。為此，他們決定做高逼真數(shù)字人。
在做超寫實數(shù)字人之前，也有人問過翁冬冬，“95后”Z時代喜歡二次元，為什么不考慮做二次元？
事實上，二次元是小眾文化，真人參演的影視劇遠(yuǎn)比二次元人物多得多。那么，是真人，就一定要像一個人。
把表情做的生動是第一步。“數(shù)字人的表情應(yīng)該非常豐富，能夠根據(jù)控制需要，準(zhǔn)確的做出喜、怒、哀、樂各種表情。同時數(shù)字人的表情還應(yīng)該具有個性化，使得每個數(shù)字人看起來都與眾不同。” 團(tuán)隊中負(fù)責(zé)表情驅(qū)動的博士生包儀華解釋道。
提高“靈”面部模型數(shù)據(jù)的精度
第二步是精確采集人的表情。為此，系統(tǒng)需要非常靈敏，即使演員做出了一個非常微小的表情動作，系統(tǒng)也能夠立刻準(zhǔn)確的將其捕捉到。“如今毫米級的采集已可以做到，但對于人臉僅僅是精確還不夠，還要保證采集能夠在一個很高的速度下完成。”翁冬冬說。
做人臉之所以困難，是因為我們對人臉太熟悉，但同時又存在太多不同的語言體系來對其進(jìn)行描述。包儀華表示，“最害怕”的是和藝術(shù)學(xué)老師在一起討論數(shù)字人，“他們常說數(shù)字人缺少神韻”。
“神韻是啥？能否說具體一點？”
“我已經(jīng)說得很具體了，就是沒神。”
之前，翁冬冬團(tuán)隊在做“數(shù)字梅蘭芳”項目時，就經(jīng)常出現(xiàn)這樣的“尬聊”，“我們拿著尺子去量，你看臉、鼻子的距離一樣，但拼合在一起，藝術(shù)學(xué)老師就是覺得不一樣，這就是人臉的有意思之處。”
讓數(shù)字人去打一場比賽
測試中的“靈”
美國傳播學(xué)家艾伯特·梅拉比安對于溝通提出一個公式：溝通時信息的全部表達(dá)="7%語調(diào)+38%聲音+55%肢體語言。
看到這個比例，你也許會很吃驚，原來信息大部分是通過肢體語言和表情來傳達(dá)。但是語言、表情和動作等通道之間的不協(xié)調(diào)，卻會使得數(shù)字人產(chǎn)生錯誤的表達(dá)。比如，一個人嘴上說著“很有道理”，眼睛里卻流露出輕蔑的表情，你會相信他這句話是真的嗎？
翁冬冬介紹，相比較從前只有聲音、沒有形象的人工智能，有形象的智能數(shù)字人在是否“像人”方面，被用戶寄予了更高的期望和要求。一個簡單的“不當(dāng)行為”就可能暴露出數(shù)字人的“虛假本質(zhì)”。比如，銀行入口站著一個“接待員”，有顧客經(jīng)過時，真人的目光會跟隨、會跟顧客打招呼，而數(shù)字人可能無動于衷。
翁冬冬一直在想“要不要給數(shù)字人賦予需求，因為有了需求的智能體才會像人一樣去主動探索世界”。比如讓數(shù)字人會餓，會有社交焦慮等。
他把這一想法放在“靈”身上實現(xiàn)，便是給予她參賽選手的身份，讓她有“競爭”的需求。站在元宇宙的舞臺中央，“靈”作為北理工“老智星”團(tuán)隊的參賽選手，落落大方地為臺下“觀眾”介紹這款專為老年人設(shè)計的，專門對抗老年人智力流失的VR游戲。他們還引入了由清華大學(xué)團(tuán)隊開發(fā)的、類似ChatGPT功能的聆心智能。
“你們所需要的啟動資金是多少？”
“我的啟動資金是20萬元，我希望以轉(zhuǎn)讓股權(quán)的方式吸引到一位投資人加入，以促進(jìn)我們公司更好更快地發(fā)展。”流利地給出答案同時，“靈”目光流轉(zhuǎn)，很自然地做出了一個歡迎的手勢。
有意思的是，考慮再三，翁冬冬最終還是決定把“靈”的賽場形象做得“假一點”。“真是擔(dān)心選手們把‘她’與真人混淆起來。”翁冬冬笑道。
