ECCV2020 GigaVision挑戰(zhàn)賽,深蘭科技包攬十億級像素雙賽道冠軍
DeepBlueAI團(tuán)隊榮獲兩項第一
任務(wù)一:
任務(wù)二:
賽題特點(diǎn)
圖像分辨率極高、近景和遠(yuǎn)景目標(biāo)尺度差異大 十億像素級的超高分辨率是整個數(shù)據(jù)集的核心問題。一方面,由于計算資源的限制,超高分辨率使得網(wǎng)絡(luò)無法接受大圖作為輸入,而單純將原圖縮放到小圖會使得目標(biāo)丟失大量信息。另一方面,圖像中近景和遠(yuǎn)景的目標(biāo)尺度差異大,給檢測器帶來了巨大的挑戰(zhàn)。目標(biāo)在圖像中分布密集,并且遮擋嚴(yán)重 數(shù)據(jù)集均從廣場、學(xué)校、商圈等真實(shí)場景采集,其人流和車輛密度極大。同時,行人和車輛的擁擠、遮擋等情況頻發(fā),容易造成目標(biāo)的漏檢和誤檢。
主要工作
賽道一 Pedestrian & Vehicle Detection
根據(jù)以往積累的經(jīng)驗(yàn),團(tuán)隊首先將原圖縮放到合適尺度,并使用基于Cascade RCNN的檢測器直接檢測行人的三個類別和車輛,將其作為Baseline: Backbone + DCN + FPN + Cascade RCNN,并在此基礎(chǔ)上進(jìn)行改進(jìn)。
實(shí)驗(yàn)結(jié)果顯示,模型存在大量的誤檢和漏檢。這些漏檢和無意義的檢測結(jié)果大幅降低了模型的性能。團(tuán)隊將上述問題歸納為兩方面的原因:
訓(xùn)練和測試時輸入模型的圖像尺度不合適。圖像經(jīng)過縮放后,目標(biāo)的尺度也隨之變小,導(dǎo)致遠(yuǎn)景中人的頭部等區(qū)域被大量遺漏。
網(wǎng)絡(luò)本身的分類能力較弱。行人的可見區(qū)域和全身區(qū)域十分相似,容易對分類器造成混淆,從而產(chǎn)生誤檢。
根據(jù)上述問題,團(tuán)隊進(jìn)行了一些改進(jìn)。首先,使用滑動窗口的方式切圖進(jìn)行訓(xùn)練。滑動窗口切圖是一種常用的大圖像處理方式, 這樣可以有效的保留圖像的高分辨率信息,使得網(wǎng)絡(luò)獲得的信息更加豐富。如果某個目標(biāo)處于切圖邊界,根據(jù)其IOF大于0.5來決定是否保留。其次,對于每個類別采用一個單獨(dú)的檢測器進(jìn)行檢測。經(jīng)過實(shí)驗(yàn)對比,對每個類別采用單獨(dú)的檢測器可以有效的提高網(wǎng)絡(luò)的效果,尤其是對于可見區(qū)域和全身區(qū)域兩類。 同時向檢測器添加了Global Context (GC) block來進(jìn)一步提高特征提取能力。GC-Block結(jié)合了Non-local的上下文建模能力,并繼承了SE-Net節(jié)省計算量的優(yōu)點(diǎn),可以有效的對目標(biāo)的上下文進(jìn)行建模。
除Cascade RCNN外,還采用了Generalize Focal Loss (GFL)檢測器進(jìn)行結(jié)果互補(bǔ)。GFL提出了一種泛化的Focal Loss損失,解決了分類得分和質(zhì)量預(yù)測得分在訓(xùn)練和測試時的不一致問題。
最后,將各檢測器的結(jié)果使用Weighted Box Fusion (WBF)進(jìn)行融合,形成了最終的解決方案。傳統(tǒng)的NMS和Soft-NMS方法會移除預(yù)測結(jié)果中的一部分預(yù)測框,而WBF使用全部的預(yù)測框,通過進(jìn)行組合來獲得更加準(zhǔn)確的預(yù)測框,從而實(shí)現(xiàn)精度提升。整體pipeline如下圖所示:
實(shí)驗(yàn)結(jié)果:

發(fā)表評論
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-9.16點(diǎn)擊進(jìn)入 >> 【限時福利】TE 2025國際物聯(lián)網(wǎng)展·深圳站
-
10月23日火熱報名中>> 2025是德科技創(chuàng)新技術(shù)峰會
-
10月23日立即報名>> Works With 開發(fā)者大會深圳站
-
10月24日立即參評>> 【評選】維科杯·OFweek 2025(第十屆)物聯(lián)網(wǎng)行業(yè)年度評選
-
11月27日立即報名>> 【工程師系列】汽車電子技術(shù)在線大會
-
12月18日立即報名>> 【線下會議】OFweek 2025(第十屆)物聯(lián)網(wǎng)產(chǎn)業(yè)大會
推薦專題
- 1 先進(jìn)算力新選擇 | 2025華為算力場景發(fā)布會暨北京xPN伙伴大會成功舉辦
- 2 人形機(jī)器人,正狂奔在批量交付的曠野
- 3 宇樹機(jī)器人撞人事件的深度剖析:六維力傳感器如何成為人機(jī)安全的關(guān)鍵屏障
- 4 解碼特斯拉新AI芯片戰(zhàn)略 :從Dojo到AI5和AI6推理引擎
- 5 AI版“四萬億刺激”計劃來了
- 6 騰訊 Q2 財報亮眼:AI 已成第二增長曲線
- 7 2025年8月人工智能投融資觀察
- 8 9 Manus跑路,大廠掉線,只能靠DeepSeek了
- 10 a16z最新AI百強(qiáng)榜:硅谷頂級VC帶你讀懂全球生成式AI賽道最新趨勢