Facebook AI發(fā)力,2D照片變3D
最先進(jìn)的機(jī)器學(xué)習(xí)算法可以從照片中提取二維物體,并在三維中忠實(shí)地呈現(xiàn)它們。這種技術(shù)可以適用于增強(qiáng)現(xiàn)實(shí)的應(yīng)用程序、機(jī)器人以及導(dǎo)航,因此它成為Facebook的一個(gè)重要研究領(lǐng)域。
在近日于首爾舉辦的國際計(jì)算機(jī)視覺會(huì)議(ICCV)之前,F(xiàn)acebook在一篇博客文章中強(qiáng)調(diào)了其在智能內(nèi)容理解方面的最新進(jìn)展。據(jù)透露,它的系統(tǒng)甚至可以用來檢測復(fù)雜的前景和背景對(duì)象,如椅子腿或重疊的家具。
“我們研究的最新進(jìn)展是建立在利用深度學(xué)習(xí)來預(yù)測和定位圖像中的物體,以及用新的工具和架構(gòu)來理解三維形狀,如體素、點(diǎn)云和網(wǎng)格,”Facebook的研究人員Georgia Gkioxari、Shubham Tulsiani和David Novotny在一篇博客中寫道。“三維理解將在提高人工智能系統(tǒng),更貼近地理解、解釋和操作現(xiàn)實(shí)世界的能力方面發(fā)揮核心作用!
其中一個(gè)亮點(diǎn)是Mesh R-CNN,這是一種能夠從雜亂和遮擋物體的圖像中預(yù)測三維形狀的方法。
Facebook的研究人員表示,他們?cè)陂_源的Mask R-CNN的二維目標(biāo)分割系統(tǒng)上增加了一個(gè)網(wǎng)格預(yù)測分支,并使用一個(gè)包含高度優(yōu)化的三維操作符的庫(Torch3d),來進(jìn)一步支持該系統(tǒng)。Mesh R-CNN有效地利用了Mask R-CNN對(duì)圖像中不同的物體進(jìn)行檢測和分類,然后利用上述的預(yù)測器對(duì)三維形狀進(jìn)行推斷。
Facebook表示,在公共可用的Pix3D語料庫上進(jìn)行評(píng)估后,Mesh R-CNN成功地檢測到所有類別的物體,并在家具場景中估計(jì)它們的完整三維形狀。在一個(gè)單獨(dú)的數(shù)據(jù)集上(ShapeNet ),Mesh R-CNN比之前的研究有7%的相對(duì)優(yōu)勢。
Facebook開發(fā)的另一個(gè)系統(tǒng)是Canonical 3D Pose Networks,簡稱為C3DPO,解決了網(wǎng)格和相應(yīng)圖像無法用于訓(xùn)練的情況。建立三維關(guān)鍵點(diǎn)模型重建,利用二維關(guān)鍵點(diǎn)監(jiān)控實(shí)現(xiàn)最先進(jìn)的重建結(jié)果。(這里的關(guān)鍵點(diǎn)指的是被跟蹤的物體部分,它們提供了一組關(guān)于幾何圖形及其視角變化的線索。)
C3DPO利用重建模型預(yù)測相應(yīng)攝像機(jī)視點(diǎn)參數(shù)和三維關(guān)鍵點(diǎn)位置。輔助組件與模型一起學(xué)習(xí),以解決在分解三維視點(diǎn)和形狀時(shí)引入的模糊性。
Facebook指出,這種重建在以前是可以實(shí)現(xiàn)的,部分原因是內(nèi)存限制。C3DPO體系結(jié)構(gòu)可以在硬件無法捕獲的情況下進(jìn)行三維重建,比如對(duì)大型的對(duì)象。
“(三維)計(jì)算機(jī)視覺有許多開放的研究問題,我們正在試驗(yàn)多種問題陳述、技術(shù)和監(jiān)督方法,以探索推動(dòng)該領(lǐng)域向前發(fā)展的最佳方式,就像我們?cè)诙S理解領(lǐng)域所做的那樣,”Gkioxari、Tulsiani和Novotny表示!半S著數(shù)字世界適應(yīng)并轉(zhuǎn)向使用3D照片、沉浸式AR和VR體驗(yàn)等產(chǎn)品,我們需要不斷推動(dòng)復(fù)雜的系統(tǒng)更準(zhǔn)確地理解視覺場景中的對(duì)象并與之互動(dòng)!

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長度6~500個(gè)字
最新活動(dòng)更多
-
7月8日立即報(bào)名>> 【在線會(huì)議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯(lián)
-
7月22-29日立即報(bào)名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會(huì)
-
7.30-8.1火熱報(bào)名中>> 全數(shù)會(huì)2025(第六屆)機(jī)器人及智能工廠展
-
7月31日免費(fèi)預(yù)約>> OFweek 2025具身智能機(jī)器人產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用論壇
-
免費(fèi)參會(huì)立即報(bào)名>> 7月30日- 8月1日 2025全數(shù)會(huì)工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產(chǎn)業(yè)高端化、智能化、綠色化發(fā)展藍(lán)皮書》
推薦專題