91麻豆五十路|果冻传媒一区|91制片厂收费吗|国产尤物av午夜精品一区二区|科普一下天美传媒|精品亚洲成a人在线|麻豆传媒映画男优一阿伟|国产精品熟女91九色|麻豆传媒映画映百科全书|自拍区偷拍亚洲最新,精东影业精一禾传媒,麻豆映画传媒安卓下载,糖心系列唐伯虎vlog已更新

北理工團(tuán)隊(duì)研發(fā)出首個(gè)視覺提示遙感多模態(tài)大模型


ffc59cd064c64a1fb85fe36e3b2518dc.png

2025年1月,,北京理工大學(xué)前沿交叉科學(xué)院數(shù)據(jù)流體團(tuán)隊(duì)研發(fā)出首個(gè)視覺提示遙感多模態(tài)大模型,相關(guān)成果以“EarthMarker: A Visual Prompting Multi-modal Large Language Model for Remote Sensing”為題,,發(fā)表在國際頂級(jí)期刊《IEEE Transactions on Geoscience and Remote Sensing (TGRS)》,。

EarthMarker為遙感通用大模型EarthGPT的延續(xù),首次實(shí)現(xiàn)了遙感領(lǐng)域中基于視覺提示的多模態(tài)大模型,,支持多粒度的視覺提示和自然語言聯(lián)合提示,,實(shí)現(xiàn)了多粒度解譯遙感圖像,并可靈活切換遙感圖像解譯粒度,,如圖像,、區(qū)域和點(diǎn)粒度。此外,,本文提出了首個(gè)遙感視覺提示大規(guī)模多模態(tài)數(shù)據(jù)集,,包含約365萬多模態(tài){圖像-點(diǎn)-文本}和{圖像-區(qū)域-文本}配對(duì)數(shù)據(jù),數(shù)據(jù)集已全部開源,。

EarthMarker可完成復(fù)雜視覺推理任務(wù),,尤其在遙感目標(biāo)關(guān)系分析任務(wù)中性能超越GPT-4V。如圖1所示,,EarthMarker展示出驚人的分析能力:其首先總結(jié)了視覺提示所標(biāo)識(shí)區(qū)域分別為機(jī)場環(huán)境中的不同要素, 接著對(duì)相同類別的區(qū)域進(jìn)行了聚類分析,,并推理出這些標(biāo)注區(qū)域在機(jī)場環(huán)境中的不同功能。

702508c9cc424437bc58f7174751cc97.png

圖1 EarthMarker完成復(fù)雜推理任務(wù):遙感關(guān)鍵標(biāo)關(guān)系分析(黃色高亮部分表示錯(cuò)誤)

綜合來講,,EarthMarker具備多才多藝的能力,。如圖2所示,EarthMarker可實(shí)現(xiàn)多粒度(如圖像級(jí),、區(qū)域級(jí)和點(diǎn)級(jí))遙感圖像解譯,,擅長于各種視覺任務(wù),包括場景分類,、指定對(duì)象分類,、圖像描述、關(guān)系分析等,。

467847c8e7544a1abaee10dc96130c21.png

圖2 EarthMarker具備多粒度遙感圖像解譯能力,,可實(shí)現(xiàn)多任務(wù)推理

EarthMarker的總體架構(gòu)如圖3所示,提出了一種共享視覺編碼機(jī)制,,以增強(qiáng)視覺提示,、整體圖像和文本指令之間的交互理解。此外,,文中設(shè)計(jì)了跨域三階段學(xué)習(xí)策略,,使得EarthMarker具備了空間感知和聯(lián)合指令跟隨能力。該研究貢獻(xiàn)了視覺和語言聯(lián)合提示多模態(tài)理解框架,,并構(gòu)建遙感多模態(tài)聯(lián)合提示指令數(shù)據(jù)集,,展示出了極大的應(yīng)用潛力。

01ff12f771fc41838105f511adff7741.png

圖3 EarthMarker總體架構(gòu)

EarthMarker更多信息詳見:

論文鏈接:https://ieeexplore.ieee.org/document/10817639

開源鏈接:https://github.com/wivizhang/EarthMarker

同系列模型:

EarthGPT:國內(nèi)首個(gè)遙感大模型,,100萬圖文指令數(shù)據(jù)集已全部開源,!

論文鏈接:https://ieeexplore.ieee.org/document/10547418

開源鏈接:https://github.com/wivizhang/EarthGPT

Popeye:首個(gè)海洋船舶視覺語言模型

論文鏈接:https://ieeexplore.ieee.org/document/10738390


分享到: