北理工團隊研發(fā)出首個視覺提示遙感多模態(tài)大模型
發(fā)布日期：2025-01-17 供稿：前沿交叉科學(xué)院 攝影：前沿交叉科學(xué)院
編輯：楊婧 審核：陳棋 閱讀次數(shù)：
2025年1月,，北京理工大學(xué)前沿交叉科學(xué)院數(shù)據(jù)流體團隊研發(fā)出首個視覺提示遙感多模態(tài)大模型,，相關(guān)成果以“EarthMarker: A Visual Prompting Multi-modal Large Language Model for Remote Sensing”為題，發(fā)表在國際頂級期刊《IEEE Transactions on Geoscience and Remote Sensing (TGRS)》,。
EarthMarker為遙感通用大模型EarthGPT的延續(xù),，首次實現(xiàn)了遙感領(lǐng)域中基于視覺提示的多模態(tài)大模型,，支持多粒度的視覺提示和自然語言聯(lián)合提示,，實現(xiàn)了多粒度解譯遙感圖像,，并可靈活切換遙感圖像解譯粒度，如圖像,、區(qū)域和點粒度,。此外,，本文提出了首個遙感視覺提示大規(guī)模多模態(tài)數(shù)據(jù)集，包含約365萬多模態(tài){圖像-點-文本}和{圖像-區(qū)域-文本}配對數(shù)據(jù),，數(shù)據(jù)集已全部開源,。
EarthMarker可完成復(fù)雜視覺推理任務(wù)，尤其在遙感目標(biāo)關(guān)系分析任務(wù)中性能超越GPT-4V,。如圖1所示,，EarthMarker展示出驚人的分析能力：其首先總結(jié)了視覺提示所標(biāo)識區(qū)域分別為機場環(huán)境中的不同要素, 接著對相同類別的區(qū)域進行了聚類分析,，并推理出這些標(biāo)注區(qū)域在機場環(huán)境中的不同功能,。
圖1 EarthMarker完成復(fù)雜推理任務(wù)：遙感關(guān)鍵標(biāo)關(guān)系分析（黃色高亮部分表示錯誤）
綜合來講，EarthMarker具備多才多藝的能力,。如圖2所示,，EarthMarker可實現(xiàn)多粒度（如圖像級、區(qū)域級和點級）遙感圖像解譯,，擅長于各種視覺任務(wù),，包括場景分類、指定對象分類,、圖像描述,、關(guān)系分析等。
圖2 EarthMarker具備多粒度遙感圖像解譯能力,，可實現(xiàn)多任務(wù)推理
EarthMarker的總體架構(gòu)如圖3所示,，提出了一種共享視覺編碼機制，以增強視覺提示,、整體圖像和文本指令之間的交互理解,。此外，文中設(shè)計了跨域三階段學(xué)習(xí)策略,，使得EarthMarker具備了空間感知和聯(lián)合指令跟隨能力,。該研究貢獻了視覺和語言聯(lián)合提示多模態(tài)理解框架，并構(gòu)建遙感多模態(tài)聯(lián)合提示指令數(shù)據(jù)集,，展示出了極大的應(yīng)用潛力,。
圖3 EarthMarker總體架構(gòu)
EarthMarker更多信息詳見：
論文鏈接：https://ieeexplore.ieee.org/document/10817639
開源鏈接：https://github.com/wivizhang/EarthMarker
同系列模型：
EarthGPT：國內(nèi)首個遙感大模型，100萬圖文指令數(shù)據(jù)集已全部開源,！
論文鏈接：https://ieeexplore.ieee.org/document/10547418
開源鏈接：https://github.com/wivizhang/EarthGPT
Popeye：首個海洋船舶視覺語言模型
論文鏈接：https://ieeexplore.ieee.org/document/10738390
分享到：