北理工在語義深層特征的目標(biāo)跟蹤方面取得新進(jìn)展
發(fā)布日期：2021-01-11 供稿：光電學(xué)院
編輯：盛筠 審核：鄒銳 閱讀次數(shù)：近日，北京理工大學(xué)光電學(xué)院許廷發(fā)科研團(tuán)隊(duì)在語義深層特征的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方面取得新進(jìn)展,，相關(guān)研究成果以“SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning”為題發(fā)表在人工智能領(lǐng)域的國際頂級期刊《IEEE Transactions on Cybernetics（IEEE TCYB）》(IF=11.079)上,。IEEE TCYB是人工智能領(lǐng)域具有高影響力的國際學(xué)術(shù)刊物之一,，在2020年該領(lǐng)域120余種JCR期刊中排名前列，影響因子為11.079,，中科院一區(qū),，主要發(fā)表和報(bào)道計(jì)算智能、人工智能,、數(shù)據(jù)科學(xué)和神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的最新研究進(jìn)展和技術(shù),。該工作第一作者為北京理工大學(xué)博士研究生黃博，通訊作者為北京理工大學(xué)許廷發(fā)教授,。
隨著人工智能的發(fā)展,，具有語義深層特征的視覺目標(biāo)跟蹤在計(jì)算機(jī)視覺中引起了很多關(guān)注。尤其是旨在學(xué)習(xí)基于決策相似性評估的孿生網(wǎng)絡(luò)，在跟蹤領(lǐng)域中得到了廣泛的應(yīng)用,。但是,，孿生跟蹤網(wǎng)絡(luò)的在線更新存在局限性，即模型自適應(yīng)和退化難以達(dá)到平衡,。
針對這一科學(xué)問題,，北京理工大學(xué)許廷發(fā)教授團(tuán)隊(duì)率先提出基于注意力遷移學(xué)習(xí)的孿生跟蹤模型。
圖1 注意力遷移學(xué)習(xí)的孿生跟蹤模型
為了充分利用先前的信息,，該模型將特征表示知識(shí),、學(xué)習(xí)濾波器知識(shí)和時(shí)空注意力知識(shí)轉(zhuǎn)移到當(dāng)前的模板更新過程中。從歷史跟蹤任務(wù)中學(xué)習(xí)到的特征表示,，以解決當(dāng)前跟蹤任務(wù)中缺少高質(zhì)量訓(xùn)練數(shù)據(jù)的問題,。引入了一個(gè)實(shí)例轉(zhuǎn)移判別相關(guān)濾波器來增強(qiáng)孿生網(wǎng)絡(luò)的決策能力。預(yù)定義基于時(shí)空關(guān)系的類高斯矩陣來控制不同空間位置的學(xué)習(xí)權(quán)重,，并使用L2損失函數(shù)來計(jì)算更新的目標(biāo)模板,。
圖2 傳統(tǒng)更新過程和注意力更新過程比較
在Basketball序列中，傳統(tǒng)方法的使用較低學(xué)習(xí)率,，更新后的目標(biāo)外觀中仍然存在原始目標(biāo)和背景的“鬼影”,，嚴(yán)重影響當(dāng)前幀的檢測精度。在Lemming序列中,，傳統(tǒng)方法使用較高的學(xué)習(xí)率,，目標(biāo)的嚴(yán)重遮擋使傳統(tǒng)模型逐漸退化，最終導(dǎo)致更新的模板完全失效,。因此,，模型自適應(yīng)和退化與單一學(xué)習(xí)率之間難以取得平衡，注意力學(xué)習(xí)方法可以很好地解決這一難題,。
圖3 空間權(quán)重G的可視化分析
在G矩陣中,，中心目標(biāo)區(qū)域被賦予較高的權(quán)重，而邊界背景區(qū)域被賦予較低的權(quán)重,。這種注意力學(xué)習(xí)策略可以在更新的孿生模板分支中引入更多背景信息,，而不會(huì)污染中心目標(biāo)區(qū)域。
圖4 注意力遷移學(xué)習(xí)的孿生跟蹤結(jié)果
該項(xiàng)研究為孿生網(wǎng)絡(luò)的更新設(shè)計(jì)提供了新的思路,，提出的注意力遷移學(xué)習(xí)策略可以作為通用模塊應(yīng)用于大多數(shù)孿生跟蹤器,，并提高其性能。
附第一作者簡介：
黃博,，北京理工大學(xué)光電學(xué)院2016級碩博連讀博士生,，師從許廷發(fā)教授，研究方向?yàn)橛?jì)算機(jī)視覺和深度學(xué)習(xí)?，F(xiàn)已發(fā)表學(xué)術(shù)論文17篇,，其中SCI 10篇,，累計(jì)總影響因子達(dá)57.221。 以第一作者發(fā)表論文9篇,，其中6篇發(fā)表于IEEE TCYB,、IEEE TMM、PR,、Neurocomputing等高水平SCI期刊,，累計(jì)影響因子達(dá)36.152。申請中國發(fā)明專利1項(xiàng),，軟著3項(xiàng),。同時(shí)，還多次擔(dān)任IEEE TCSVT,、Neurocomputing等SCI期刊審稿人,。曾獲得光電設(shè)計(jì)競賽二等獎(jiǎng)、研究生數(shù)學(xué)建模三等獎(jiǎng),、首都“挑戰(zhàn)杯”一等獎(jiǎng),、“世紀(jì)杯”特等獎(jiǎng)、“百科融創(chuàng)杯”電子設(shè)計(jì)競賽一等獎(jiǎng),、電子設(shè)計(jì)競賽北京市二等獎(jiǎng),、優(yōu)秀研究生、優(yōu)秀團(tuán)干部等榮譽(yù),。
通訊作者簡介：
許廷發(fā)，教授,，博導(dǎo),，國家一級重點(diǎn)學(xué)科“光學(xué)工程”責(zé)任教授，光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室副主任,。近年來帶領(lǐng)其科研團(tuán)隊(duì)圍繞光電成像探測與識(shí)別,、高光譜計(jì)算成像處理等方向不斷深化研究。主持承擔(dān)國家自然科學(xué)基金委重大科研儀器研制項(xiàng)目等30多項(xiàng),。在國際,、國內(nèi)等系列期刊發(fā)表學(xué)術(shù)論文120余篇，其中被SCI/EI收錄80余篇,。以第一發(fā)明人申請國家發(fā)明專利40項(xiàng),，已授權(quán)和公示15項(xiàng)。
論文詳情：Bo Huang, Tingfa Xu, Ziyi Shen, Shenwang Jiang, Bingqing Zhao, and Ziyang Bian. SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning. IEEE Transactions on Cybernetics, 2020, DOI: 10.1109/TCYB.2020.3043520 論文鏈接：https://ieeexplore.ieee.org/document/9318529
分享到：