北理工在語義深層特征的目標(biāo)跟蹤方面取得新進(jìn)展

發(fā)布日期：2021-01-11 供稿：光電學(xué)院

編輯：盛筠審核：鄒銳閱讀次數(shù)：

　　近日，北京理工大學(xué)光電學(xué)院許廷發(fā)科研團(tuán)隊(duì)在語義深層特征的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方面取得新進(jìn)展，相關(guān)研究成果以“SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning”為題發(fā)表在人工智能領(lǐng)域的國(guó)際頂級(jí)期刊《IEEE Transactions on Cybernetics（IEEE TCYB）》(IF=11.079)上。IEEE TCYB是人工智能領(lǐng)域具有高影響力的國(guó)際學(xué)術(shù)刊物之一，在2020年該領(lǐng)域120余種JCR期刊中排名前列，影響因子為11.079，中科院一區(qū)，主要發(fā)表和報(bào)道計(jì)算智能、人工智能、數(shù)據(jù)科學(xué)和神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的最新研究進(jìn)展和技術(shù)。該工作第一作者為北京理工大學(xué)博士研究生黃博，通訊作者為北京理工大學(xué)許廷發(fā)教授。

　　隨著人工智能的發(fā)展，具有語義深層特征的視覺目標(biāo)跟蹤在計(jì)算機(jī)視覺中引起了很多關(guān)注。尤其是旨在學(xué)習(xí)基于決策相似性評(píng)估的孿生網(wǎng)絡(luò)，在跟蹤領(lǐng)域中得到了廣泛的應(yīng)用。但是，孿生跟蹤網(wǎng)絡(luò)的在線更新存在局限性，即模型自適應(yīng)和退化難以達(dá)到平衡。

　　針對(duì)這一科學(xué)問題，北京理工大學(xué)許廷發(fā)教授團(tuán)隊(duì)率先提出基于注意力遷移學(xué)習(xí)的孿生跟蹤模型。

圖1 注意力遷移學(xué)習(xí)的孿生跟蹤模型

　　為了充分利用先前的信息，該模型將特征表示知識(shí)、學(xué)習(xí)濾波器知識(shí)和時(shí)空注意力知識(shí)轉(zhuǎn)移到當(dāng)前的模板更新過程中。從歷史跟蹤任務(wù)中學(xué)習(xí)到的特征表示，以解決當(dāng)前跟蹤任務(wù)中缺少高質(zhì)量訓(xùn)練數(shù)據(jù)的問題。引入了一個(gè)實(shí)例轉(zhuǎn)移判別相關(guān)濾波器來增強(qiáng)孿生網(wǎng)絡(luò)的決策能力。預(yù)定義基于時(shí)空關(guān)系的類高斯矩陣來控制不同空間位置的學(xué)習(xí)權(quán)重，并使用L2損失函數(shù)來計(jì)算更新的目標(biāo)模板。

圖2 傳統(tǒng)更新過程和注意力更新過程比較

　　在Basketball序列中，傳統(tǒng)方法的使用較低學(xué)習(xí)率，更新后的目標(biāo)外觀中仍然存在原始目標(biāo)和背景的“鬼影”，嚴(yán)重影響當(dāng)前幀的檢測(cè)精度。在Lemming序列中，傳統(tǒng)方法使用較高的學(xué)習(xí)率，目標(biāo)的嚴(yán)重遮擋使傳統(tǒng)模型逐漸退化，最終導(dǎo)致更新的模板完全失效。因此，模型自適應(yīng)和退化與單一學(xué)習(xí)率之間難以取得平衡，注意力學(xué)習(xí)方法可以很好地解決這一難題。

圖3 空間權(quán)重G的可視化分析

　　在G矩陣中，中心目標(biāo)區(qū)域被賦予較高的權(quán)重，而邊界背景區(qū)域被賦予較低的權(quán)重。這種注意力學(xué)習(xí)策略可以在更新的孿生模板分支中引入更多背景信息，而不會(huì)污染中心目標(biāo)區(qū)域。

圖4 注意力遷移學(xué)習(xí)的孿生跟蹤結(jié)果

　　該項(xiàng)研究為孿生網(wǎng)絡(luò)的更新設(shè)計(jì)提供了新的思路，提出的注意力遷移學(xué)習(xí)策略可以作為通用模塊應(yīng)用于大多數(shù)孿生跟蹤器，并提高其性能。

　　附第一作者簡(jiǎn)介：

　　黃博，北京理工大學(xué)光電學(xué)院2016級(jí)碩博連讀博士生，師從許廷發(fā)教授，研究方向?yàn)橛?jì)算機(jī)視覺和深度學(xué)習(xí)。現(xiàn)已發(fā)表學(xué)術(shù)論文17篇，其中SCI 10篇，累計(jì)總影響因子達(dá)57.221。以第一作者發(fā)表論文9篇，其中6篇發(fā)表于IEEE TCYB、IEEE TMM、PR、Neurocomputing等高水平SCI期刊，累計(jì)影響因子達(dá)36.152。申請(qǐng)中國(guó)發(fā)明專利1項(xiàng)，軟著3項(xiàng)。同時(shí)，還多次擔(dān)任IEEE TCSVT、Neurocomputing等SCI期刊審稿人。曾獲得光電設(shè)計(jì)競(jìng)賽二等獎(jiǎng)、研究生數(shù)學(xué)建模三等獎(jiǎng)、首都“挑戰(zhàn)杯”一等獎(jiǎng)、“世紀(jì)杯”特等獎(jiǎng)、“百科融創(chuàng)杯”電子設(shè)計(jì)競(jìng)賽一等獎(jiǎng)、電子設(shè)計(jì)競(jìng)賽北京市二等獎(jiǎng)、優(yōu)秀研究生、優(yōu)秀團(tuán)干部等榮譽(yù)。

　　通訊作者簡(jiǎn)介：

　　許廷發(fā)，教授，博導(dǎo)，國(guó)家一級(jí)重點(diǎn)學(xué)科“光學(xué)工程”責(zé)任教授，光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室副主任。近年來帶領(lǐng)其科研團(tuán)隊(duì)圍繞光電成像探測(cè)與識(shí)別、高光譜計(jì)算成像處理等方向不斷深化研究。主持承擔(dān)國(guó)家自然科學(xué)基金委重大科研儀器研制項(xiàng)目等30多項(xiàng)。在國(guó)際、國(guó)內(nèi)等系列期刊發(fā)表學(xué)術(shù)論文120余篇，其中被SCI/EI收錄80余篇。以第一發(fā)明人申請(qǐng)國(guó)家發(fā)明專利40項(xiàng)，已授權(quán)和公示15項(xiàng)。

　　論文詳情：Bo Huang, Tingfa Xu, Ziyi Shen, Shenwang Jiang, Bingqing Zhao, and Ziyang Bian. SiamATL: Online Update of Siamese Tracking Network via Attentional Transfer Learning. IEEE Transactions on Cybernetics, 2020, DOI: 10.1109/TCYB.2020.3043520 論文鏈接：https://ieeexplore.ieee.org/document/9318529

北理工在語義深層特征的目標(biāo)跟蹤方面取得新進(jìn)展

最新新聞