北理工團(tuán)隊(duì)在高光譜視頻成像研究方面取得重要進(jìn)展
發(fā)布日期：2024-03-04 供稿：光電學(xué)院 攝影：光電學(xué)院
編輯：盛筠 審核：董立泉 閱讀次數(shù)：
日前,，北京理工大學(xué)光電學(xué)院王涌天教授、劉越教授團(tuán)隊(duì)成員徐怡博教授與來(lái)自谷歌公司和美國(guó)萊斯大學(xué)研究人員合作,，開發(fā)了一種具有優(yōu)異壓縮比和吞吐量的基于單像素光電探測(cè)器的高光譜視頻成像系統(tǒng),，成果發(fā)表于Nature Communications 15, 1456 (2024)。徐怡博教授為論文第一作者兼通訊作者,，谷歌公司陸李陽(yáng)博士,、萊斯大學(xué)Saragadam 博士和Kevin Kelly博士也對(duì)此工作做出了貢獻(xiàn)。
高光譜視頻成像捕獲場(chǎng)景的精細(xì)空間,、光譜和時(shí)間信息,，在生物熒光成像、遙感、監(jiān)控,、自動(dòng)駕駛等領(lǐng)域中具有廣泛應(yīng)用,。高光譜視頻數(shù)據(jù)量極大，現(xiàn)有方法記錄高維數(shù)據(jù)時(shí)占用大量傳輸帶寬和存儲(chǔ)空間,，給無(wú)人機(jī),、手機(jī)、行星探測(cè)器和衛(wèi)星等資源受限系統(tǒng)帶來(lái)巨大壓力,。如何在保留信息的前提下最大限度減少采樣數(shù)據(jù)量,、大幅提升采樣壓縮比是高光譜視頻成像中的關(guān)鍵問題。該研究利用四維高光譜視頻的高度可壓縮性,，設(shè)計(jì)一種空間-光譜聯(lián)合編碼方案,，提出基于四維空間信號(hào)稀疏度模型的優(yōu)化重建和深度學(xué)習(xí)重建方法，實(shí)現(xiàn)了基于單像素探測(cè)器,、可在低帶寬下實(shí)現(xiàn)高通量的高光譜視頻成像系統(tǒng),。如圖1，優(yōu)化重建方法先從包含互補(bǔ)圖案的原始測(cè)量中重建灰度視頻并提取光流,，然后通過(guò)光流輔助四維全變分正則化優(yōu)化方法實(shí)現(xiàn)高光譜視頻重建,。
圖1 光流輔助四維全變分正則化高光譜視頻重建過(guò)程示意圖與流程圖
實(shí)驗(yàn)中重建視頻空間大小為128 × 128，具有64個(gè)光譜頻道,，幀率約4幀/秒,，壓縮比約為900:1。圖2展示從重建的高光譜頻幀中均勻選取16幀并轉(zhuǎn)換為人工RGB圖像,，與彩色相機(jī)記錄的畫面對(duì)比，可見實(shí)現(xiàn)了高精度的重建,。
圖2 單像素成像實(shí)驗(yàn)優(yōu)化算法重建結(jié)果
如圖3,，深度學(xué)習(xí)重建方法由兩個(gè)階段組成。先基于長(zhǎng)短期記憶(LSTM)網(wǎng)絡(luò)的模型利用5個(gè)相鄰幀之間的時(shí)間相關(guān)性,，從“結(jié)構(gòu)化隨機(jī)”編碼測(cè)量中重建灰度視頻,。再基于殘差連接的卷積神經(jīng)網(wǎng)絡(luò)(CNN)的高光譜重建網(wǎng)絡(luò)，從深度空間-光譜聯(lián)合壓縮測(cè)量值及第一階段的灰度視頻中恢復(fù)高光譜幀,。
圖3 高光譜視頻重建的深度學(xué)習(xí)方法示意圖
如表1所示,，對(duì)比基于兩種方法重建高光譜幀的時(shí)間，可見深度學(xué)習(xí)方法在重建速度上有顯著的提升,。
表1 基于四維全變分的優(yōu)化方法和深度學(xué)習(xí)方法的重構(gòu)時(shí)間
原文信息：Xu, Y., Lu, L., Saragadam, V. et al. A compressive hyperspectral video imaging system using a single-pixel detector. Nat Commun 15, 1456 (2024). https://doi.org/10.1038/s41467-024-45856-1
論文鏈接：https://www.nature.com/articles/s41467-024-45856-1
分享到：