螞蟻集團(tuán)已推出20億參數(shù)多模態(tài)遙感基礎(chǔ)模型SkySense,這是螞蟻百靈大模型在多模態(tài)領(lǐng)域最新的研發(fā)成果,其論文已被世界計(jì)算機(jī)視覺頂會(huì)CVPR 2024接收。SkySense可用于地貌、農(nóng)作物觀測和解譯等,有效輔助農(nóng)業(yè)生產(chǎn)和經(jīng)營。
據(jù)介紹,SkySense在總計(jì)17項(xiàng)國際權(quán)威公開數(shù)據(jù)集進(jìn)行了測評(píng),其測試任務(wù)類型包括了土地利用監(jiān)測、高分辨率目標(biāo)識(shí)別、地物變化檢測等7種常見遙感感知任務(wù),并與國際上已發(fā)布的包括IBM和NASA聯(lián)合研發(fā)的Prithvi等共18個(gè)全球主流同類模型做了測試結(jié)果比較。數(shù)據(jù)顯示,17項(xiàng)測評(píng)中SkySense均名列第一。譬如,在國際高清遙感地物檢測榜單FAIR1M 2.0中,SkySense平均精度(mAP)領(lǐng)先第二名超3%。
在剛剛公布的CVPR2024論文入選結(jié)果上,SkySense的研究成果亦被收錄。據(jù)了解,螞蟻集團(tuán)正在計(jì)劃開放Skysense模型參數(shù),與行業(yè)共建,促進(jìn)智能遙感技術(shù)與應(yīng)用發(fā)展。
SkySense由螞蟻AI創(chuàng)新研發(fā)部門NextEvo與武漢大學(xué)聯(lián)合研發(fā)。NextEvo是螞蟻AI核心技術(shù)研發(fā)團(tuán)隊(duì),主導(dǎo)了螞蟻百靈大模型的研發(fā)工作,其研發(fā)方向涉及CV、NLP、多模態(tài)、AIGC、數(shù)字人、AI工程化等核心技術(shù)。去年,該部門升級(jí)了多模態(tài)團(tuán)隊(duì),由楊銘帶隊(duì)全面布局多模態(tài)技術(shù)。