短訊！北京智源推出通用視覺(jué) AI 模型 SegGPT：可自動(dòng)追蹤并分割影音中的物體
2023-05-31 11:38:08|
來(lái)源：IT之家 作者：
(資料圖)
IT之家 5 月 31 日消息，在 2023 年中關(guān)村論壇人工智能大模型發(fā)展論壇中，北京智源人工智能研究院推出了旗下通用分割模型 SegGPT（Segment Everything In Contex）。
據(jù)稱，SegGPT 模型是智源通用視覺(jué)模型 Painter 的衍生模型，具備上下文推理能力，在訓(xùn)練完成后只需要提供示例即可推理并完成對(duì)應(yīng)分割任務(wù)，包括圖像和視頻中的實(shí)例、類別、零部件、輪廓、文本、人臉、醫(yī)學(xué)圖像等，都可以利用視覺(jué)提示詞（Prompt）完成分割任務(wù)。
SegGPT 也擁有支持任意數(shù)量視覺(jué)提示的推理能力。能夠以第一幀圖像和對(duì)應(yīng)的物體掩碼作為上下文示例進(jìn)行自動(dòng)視頻分割，并且可以用掩碼的顏色作為物體的 ID，進(jìn)行自動(dòng)追蹤。
IT之家經(jīng)過(guò)查詢知悉，此前 Meta 也發(fā)布了其基于 AI 的 Segment Anything Model （SAM）模型 ，具有識(shí)別和分離圖像和視頻中特定對(duì)象的能力。而威斯康辛麥迪遜、微軟、港科大等機(jī)構(gòu)的研究人員也推出 SEEM 模型，通過(guò)不同的視覺(jué)提示和語(yǔ)言提示，一鍵分割圖像、視頻。IT之家的小伙伴們可以從這里訪問(wèn)模型的論文鏈接。
標(biāo)簽：
