北理工團隊在機器視覺分類中噪聲和長尾數(shù)據(jù)處理方面取得新進展
發(fā)布日期：2022-07-28 供稿：光電學院
編輯：盛筠 審核：董立泉 閱讀次數(shù)：
近日，北京理工大學光電學院許廷發(fā)科研團隊在機器視覺分類中噪聲和長尾數(shù)據(jù)處理方面取得新進展,，相關(guān)研究成果以“Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data”為題被人工智能領域的國際頂級會議AAAI-2022 (CCF A)發(fā)表,，AAAI是人工智能領域具有高影響力的國際頂級學術(shù)會議之一,，被計算機協(xié)會歸類為A類會議，主要發(fā)表和報道計算智能,、人工智能,、數(shù)據(jù)科學和深度學習等領域的最新研究進展和技術(shù)。該工作第一作者為北京理工大學博士后江慎旺,，通訊作者為北京理工大學李佳男特別副研究員和許廷發(fā)教授,。
隨著人工智能的發(fā)展，如何在噪聲和長尾數(shù)據(jù)中訓練模型在機器學習中引起了很多關(guān)注,。然而,，當前大多數(shù)方法都在理想化的狀態(tài)下研究如何單獨處理噪聲或者長尾數(shù)據(jù)的問題，針對這一科學問題,，北京理工大學許廷發(fā)教授團隊率先提出損失值曲線和元學習的方法同時解決噪聲和長尾數(shù)據(jù),，通過大量的計算和實驗觀察發(fā)現(xiàn),，雖然從單個的權(quán)重無法區(qū)分噪聲和尾部樣本，但是在樣本的整個訓練過程生成的損失值曲線能夠提供充足的信息區(qū)分這兩種樣本,，如圖1,。
圖1 損失值曲線
在此基礎上，科研團隊提出了損失值曲線的噪聲和長尾數(shù)據(jù)處理模型,。如圖2,，基于損失值曲線的噪聲和長尾數(shù)據(jù)處理模型可以被分為兩個階段： Probing Stage和Allocating Stage。在Probing Stage先訓練一遍模型,，得到每個樣本的損失值曲線,；在Allocating Stage將損失值曲線作為樣本的一項特征輸入至權(quán)重生成模型并為每個樣本生成權(quán)重，采用元學習方法進行了優(yōu)化,。
圖2 基于損失值曲線的噪聲和長尾數(shù)據(jù)處理模型
圖3為生成的權(quán)重曲線的可視化分析,。在權(quán)重曲線中，干凈樣本和尾部被賦予較高的權(quán)重,，而噪聲樣本和頭部樣本被賦予較低的權(quán)重,。這種重賦權(quán)策略可以有效的抑制噪聲數(shù)據(jù)的影響并提升模型對尾部數(shù)據(jù)的學習能力。
圖3 各類樣本生成權(quán)重可視化分析
該項研究為機器視覺領域的噪聲和長尾數(shù)據(jù)處理提供了新的思路,，為進一步實用化奠定了理論和技術(shù)基礎,。
論文詳情：Jiang, Shenwang, et al. "Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 36. No. 6. 2022.
論文鏈接：https://ojs.aaai.org/index.php/AAAI/article/view/20661
附作者簡介：
江慎旺，北京理工大學光電學院博士后,。2014年,、2020年分別獲得北京理工大學學士、博士學位,，研究方向為機器學習和計算機視覺,。在國際頂級會議AAAI、IEEE等期刊發(fā)表學術(shù)論文16篇,，谷歌學術(shù)總引用量98次,，第一作者4篇，申請中國發(fā)明專利1項,。曾獲得2021 年 ICCV 第二屆反無人機國際挑戰(zhàn)賽（The 2nd Anti-UAV Workshop & Challenge）冠軍及該 Workshop 的最佳論文,，大學生數(shù)學競賽二等獎（北京市）、大學生物理競賽二等獎（北京市）等榮譽,。
李佳男,，博士，北京理工大學光電學院預聘助理教授（特別副研究員）,，新加坡國立大學博士后,。研究方向為光電成像探測與識別、計算機視覺、嵌入式視頻處理等,。近五年發(fā)表高水平學術(shù)論文30篇,，其中第一作者論文包括 IEEE TPAMI、TVCG,、CVPR,、ICLR等頂級期刊會議9篇,，ESI高被引論文1篇,。論文單篇最高被引600余次，谷歌學術(shù)總引用2400余次,。主持國自然青年科學基金項目,、博士后科學基金一等面上項目和項3項；參與國家自然科學基金重大科研儀器研制項目等5項,。入選北京市科協(xié)青年人才托舉工程,，曾獲得中國圖象圖形學學會優(yōu)秀博士學位論文、王大珩高校學生光學獎等榮譽,，獲得ImageNet大規(guī)模視覺識別挑戰(zhàn)賽（ILSVRC-2017）目標定位任務冠軍,。指導團隊獲得ICCV 2021“無人機跟蹤”挑戰(zhàn)賽冠軍及最佳論文獎。
許廷發(fā),，博士,，教授，博導,，國家一級重點學科“光學工程”學科責任教授,，光電成像技術(shù)與系統(tǒng)教育部重點實驗室副主任。北京理工大學重慶創(chuàng)新中心智能化和大數(shù)據(jù)技術(shù)實驗室主任,。近年來帶領其科研團隊圍繞光電成像探測與識別,、計算成像和醫(yī)學光電成像等方向不斷深化研究。主持承擔國家自然科學基金委重大科研儀器研制項目等40余項,。在國際,、國內(nèi)等系列期刊發(fā)表學術(shù)論文135篇，其中被SCI/EI收錄90余篇,。以第一發(fā)明人申請國家發(fā)明專利45項,，已授權(quán)和公示15項。指導研究生獲得中國圖象圖形學學會優(yōu)秀博士學位論文,，二人次獲得王大珩高校學生光學獎,，二人次獲得全國光學與光學工程博士生學術(shù)聯(lián)賽全國百強等榮譽稱號。
分享到：