北理工團(tuán)隊(duì)在機(jī)器視覺(jué)分類中噪聲和長(zhǎng)尾數(shù)據(jù)處理方面取得新進(jìn)展
發(fā)布日期：2022-07-28 供稿：光電學(xué)院
編輯：盛筠 審核：董立泉 閱讀次數(shù)：
近日,，北京理工大學(xué)光電學(xué)院許廷發(fā)科研團(tuán)隊(duì)在機(jī)器視覺(jué)分類中噪聲和長(zhǎng)尾數(shù)據(jù)處理方面取得新進(jìn)展，相關(guān)研究成果以“Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data”為題被人工智能領(lǐng)域的國(guó)際頂級(jí)會(huì)議AAAI-2022 (CCF A)發(fā)表,，AAAI是人工智能領(lǐng)域具有高影響力的國(guó)際頂級(jí)學(xué)術(shù)會(huì)議之一,，被計(jì)算機(jī)協(xié)會(huì)歸類為A類會(huì)議，主要發(fā)表和報(bào)道計(jì)算智能,、人工智能,、數(shù)據(jù)科學(xué)和深度學(xué)習(xí)等領(lǐng)域的最新研究進(jìn)展和技術(shù)。該工作第一作者為北京理工大學(xué)博士后江慎旺,，通訊作者為北京理工大學(xué)李佳男特別副研究員和許廷發(fā)教授,。
隨著人工智能的發(fā)展，如何在噪聲和長(zhǎng)尾數(shù)據(jù)中訓(xùn)練模型在機(jī)器學(xué)習(xí)中引起了很多關(guān)注,。然而,，當(dāng)前大多數(shù)方法都在理想化的狀態(tài)下研究如何單獨(dú)處理噪聲或者長(zhǎng)尾數(shù)據(jù)的問(wèn)題，針對(duì)這一科學(xué)問(wèn)題,，北京理工大學(xué)許廷發(fā)教授團(tuán)隊(duì)率先提出損失值曲線和元學(xué)習(xí)的方法同時(shí)解決噪聲和長(zhǎng)尾數(shù)據(jù),，通過(guò)大量的計(jì)算和實(shí)驗(yàn)觀察發(fā)現(xiàn)，雖然從單個(gè)的權(quán)重?zé)o法區(qū)分噪聲和尾部樣本,，但是在樣本的整個(gè)訓(xùn)練過(guò)程生成的損失值曲線能夠提供充足的信息區(qū)分這兩種樣本,，如圖1。
圖1 損失值曲線
在此基礎(chǔ)上,，科研團(tuán)隊(duì)提出了損失值曲線的噪聲和長(zhǎng)尾數(shù)據(jù)處理模型,。如圖2，基于損失值曲線的噪聲和長(zhǎng)尾數(shù)據(jù)處理模型可以被分為兩個(gè)階段： Probing Stage和Allocating Stage,。在Probing Stage先訓(xùn)練一遍模型,，得到每個(gè)樣本的損失值曲線；在Allocating Stage將損失值曲線作為樣本的一項(xiàng)特征輸入至權(quán)重生成模型并為每個(gè)樣本生成權(quán)重,，采用元學(xué)習(xí)方法進(jìn)行了優(yōu)化,。
圖2 基于損失值曲線的噪聲和長(zhǎng)尾數(shù)據(jù)處理模型
圖3為生成的權(quán)重曲線的可視化分析。在權(quán)重曲線中,，干凈樣本和尾部被賦予較高的權(quán)重，而噪聲樣本和頭部樣本被賦予較低的權(quán)重,。這種重賦權(quán)策略可以有效的抑制噪聲數(shù)據(jù)的影響并提升模型對(duì)尾部數(shù)據(jù)的學(xué)習(xí)能力,。
圖3 各類樣本生成權(quán)重可視化分析
該項(xiàng)研究為機(jī)器視覺(jué)領(lǐng)域的噪聲和長(zhǎng)尾數(shù)據(jù)處理提供了新的思路，為進(jìn)一步實(shí)用化奠定了理論和技術(shù)基礎(chǔ),。
論文詳情：Jiang, Shenwang, et al. "Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 36. No. 6. 2022.
論文鏈接：https://ojs.aaai.org/index.php/AAAI/article/view/20661
附作者簡(jiǎn)介：
江慎旺,，北京理工大學(xué)光電學(xué)院博士后。2014年,、2020年分別獲得北京理工大學(xué)學(xué)士,、博士學(xué)位,，研究方向?yàn)闄C(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)。在國(guó)際頂級(jí)會(huì)議AAAI,、IEEE等期刊發(fā)表學(xué)術(shù)論文16篇,，谷歌學(xué)術(shù)總引用量98次，第一作者4篇,，申請(qǐng)中國(guó)發(fā)明專利1項(xiàng),。曾獲得2021 年 ICCV 第二屆反無(wú)人機(jī)國(guó)際挑戰(zhàn)賽（The 2nd Anti-UAV Workshop & Challenge）冠軍及該 Workshop 的最佳論文，大學(xué)生數(shù)學(xué)競(jìng)賽二等獎(jiǎng)（北京市）,、大學(xué)生物理競(jìng)賽二等獎(jiǎng)（北京市）等榮譽(yù),。
李佳男，博士,，北京理工大學(xué)光電學(xué)院預(yù)聘助理教授（特別副研究員）,，新加坡國(guó)立大學(xué)博士后。研究方向?yàn)楣怆姵上裉綔y(cè)與識(shí)別,、計(jì)算機(jī)視覺(jué),、嵌入式視頻處理等。近五年發(fā)表高水平學(xué)術(shù)論文30篇,，其中第一作者論文包括 IEEE TPAMI,、TVCG、CVPR,、ICLR等頂級(jí)期刊會(huì)議9篇,，ESI高被引論文1篇。論文單篇最高被引600余次,，谷歌學(xué)術(shù)總引用2400余次,。主持國(guó)自然青年科學(xué)基金項(xiàng)目、博士后科學(xué)基金一等面上項(xiàng)目和項(xiàng)3項(xiàng),；參與國(guó)家自然科學(xué)基金重大科研儀器研制項(xiàng)目等5項(xiàng),。入選北京市科協(xié)青年人才托舉工程，曾獲得中國(guó)圖象圖形學(xué)學(xué)會(huì)優(yōu)秀博士學(xué)位論文,、王大珩高校學(xué)生光學(xué)獎(jiǎng)等榮譽(yù),，獲得ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽（ILSVRC-2017）目標(biāo)定位任務(wù)冠軍。指導(dǎo)團(tuán)隊(duì)獲得ICCV 2021“無(wú)人機(jī)跟蹤”挑戰(zhàn)賽冠軍及最佳論文獎(jiǎng),。
許廷發(fā),，博士，教授,，博導(dǎo),，國(guó)家一級(jí)重點(diǎn)學(xué)科“光學(xué)工程”學(xué)科責(zé)任教授，光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室副主任,。北京理工大學(xué)重慶創(chuàng)新中心智能化和大數(shù)據(jù)技術(shù)實(shí)驗(yàn)室主任,。近年來(lái)帶領(lǐng)其科研團(tuán)隊(duì)圍繞光電成像探測(cè)與識(shí)別,、計(jì)算成像和醫(yī)學(xué)光電成像等方向不斷深化研究。主持承擔(dān)國(guó)家自然科學(xué)基金委重大科研儀器研制項(xiàng)目等40余項(xiàng),。在國(guó)際,、國(guó)內(nèi)等系列期刊發(fā)表學(xué)術(shù)論文135篇，其中被SCI/EI收錄90余篇,。以第一發(fā)明人申請(qǐng)國(guó)家發(fā)明專利45項(xiàng),，已授權(quán)和公示15項(xiàng)。指導(dǎo)研究生獲得中國(guó)圖象圖形學(xué)學(xué)會(huì)優(yōu)秀博士學(xué)位論文,，二人次獲得王大珩高校學(xué)生光學(xué)獎(jiǎng),，二人次獲得全國(guó)光學(xué)與光學(xué)工程博士生學(xué)術(shù)聯(lián)賽全國(guó)百?gòu)?qiáng)等榮譽(yù)稱號(hào)。
分享到：