全國咨詢/投訴熱線:400-618-4000

《基于圖卷積神經網絡的3D多目標跟蹤》論文解讀

更新時間:2020年09月14日15時23分 來源:傳智播客 瀏覽次數:

1 前言:

多目標跟蹤領域是當前目標跟蹤領域的研究熱點,在CVPR2020發表一篇題為《GNN3DMOT: Graph Neural Network for 3D Multi-Object Tracking with Multi-Feature Learning》論文,將卷積神經網絡應用到最具有落地價值的3D多目標跟蹤中,接下來我們對該論文進行解讀。

2 創新點

該算法創新點:

1.使用GNN網絡替代之前的特征交互機制,將目標的特征在多個目標之間進行交互,使不同的目標之間區分度更大,減小相似目標之間的差距,從而使目標更具有判別性

2.同時獲取2D和3D的特征,并將其進行融合,實現不同維度特征的互補。

算法流程如下圖所示:

之前的目標跟蹤方法是將對前后幀圖像分別提取特征(2D或3D),然后利用仿射變換和匈牙利算法對各個目標進行匹配,完成目標跟蹤任務。在該論文中改進是在提取特征時,提取2D和3D兩種特征,并在不同幀之間進行交互融合后,在進行目標匹配,完成目標跟蹤。

3 網絡架構

網絡模型架構如圖所示:

其中(a)表示3D表觀和運動特征提取器,使用PointNet提取3D表觀特征,(b)表示2D表觀和運動特征提取器,使用ResNet34提取2D表觀特征,并使用兩層LSTM提取軌跡的運動特征,使用兩層MLP提取觀測框的運動特征。(c)圖神經網絡:融合四個分支的目標特征作為節點特征來構建圖。在GNN的每一層中,使用節點特征聚合來迭代更新節點特征,并通過邊回歸模塊計算相似度矩陣。

4 算法細節

4.1 特征提取

在這里提取圖像的2D和3D特征,并進行融合。為了平衡運動和外觀特征的貢獻,強制最終運動和外觀特征向量具有相同的維數。為了達到多特征學習的目的,避免一個分支影響其它分支,在網絡訓練過程中隨機關閉分支。

為了避免2D檢測和3D檢測的對應問題,僅使用3D對象檢測器獲得3D檢測,然后根據給定的相機投影矩陣從3D檢測中投影2D檢測。

4.2 圖神經網絡

1. 構建圖:

融合2D和3D特征的四個分支為節點特征。由于是相鄰幀匹配,將軌跡和檢測視為兩個鄰域,只連接在彼此距離在小范圍內的兩個點,構建稀疏圖,在改圖網絡中完整目標跟蹤

2. 邊回歸

采用兩層MLP,將兩個節點特征的差作為輸入,計算相似度矩陣:

3. 特征聚合

該文本作者對四種節點聚合規則進行了實驗,采用了第四種。

其中σ都是線性層,聚合是節點本身特征加上與鄰居的特征差,并以相似度作為權重。

4.3 損失函數

損失函數由兩部分組成: Batch Triplet Loss和Affinity損失,如下式所示:

其中Batch Triplet Loss的損失計算如下所示:

該損失是衡量圖卷積網絡的節點特征的。

Affinity損失是衡量相似度矩陣的,由兩部分組成,一部分是衡量預測結果的二分類交叉熵損失:

和另一部分交叉熵損失:

我們將這些損失求和后就得到網絡整體的損失結果。

4.4 跟蹤策略

在視頻的第一幀將跟蹤對象集合初始化一個空集合,并添加一個控制目標出現和消失的跟蹤管理模塊,從而減小目標的虛警和誤報。還要對每個目標進行計數,如果找到新的目標可以匹配到跟蹤目標鏈中,則更新目標鏈,若不可匹配則將其添加到目標鏈中。如果跟蹤鏈中的某個目標沒有匹配到,則將其中跟蹤鏈中刪除。

5 實驗結果

利用該模型在KITTI數據集上的跟蹤結果如下所示:

從下圖中可以看出Drop的比例,圖卷積神經網絡的層數和特征融合的數量都會對網絡準確度產生影響。

與其他的目標跟蹤方法相比,該論文方法效果有所提升。

6 總結

該論文最大的創新點是利用圖神經網絡實現特征交互,使得目標之間的區分度更高,該文作者的實驗很豐富,在KITTI和nuScenes數據集效果很好。


猜你喜歡:

人工智能算法如何學習數據中的規律?

人工智能要學python嗎?人工智能要學習哪些知識?

人工智能基礎視頻教程:7天入門機器學習

人妻系列无码专区_漂亮人妻被中出中文字幕_人妻中文制服巨乳中文