寫在前面&筆者的個人理解

目前，在整個自動駕駛系統(tǒng)當中，感知模組扮演了其中至關(guān)重要的角色，行駛在道路上的自動駕駛車輛只有透過感知模組獲得到準確的感知結(jié)果後，才能讓自動駕駛系統(tǒng)中的下游規(guī)控模組做出及時、正確的判斷和行為決策。目前，具備自動駕駛功能的汽車中通常會配備包括環(huán)視相機感測器、光達感測器以及毫米波雷達感測器在內(nèi)的多種數(shù)據(jù)資訊感測器來收集不同模態(tài)的信息，用於實現(xiàn)準確的感知任務(wù)。

基於純視覺的BEV感知演算法因其較低的硬體成本和易於部署的特點，以及其輸出結(jié)果能便捷地應(yīng)用於各種下游任務(wù)，因此受到工業(yè)界和學術(shù)界的廣泛關(guān)注。近年來，許多基於BEV空間的視覺感知演算法相繼湧現(xiàn)，且在公開資料集上展現(xiàn)出色的感知性能。

目前，基於BEV空間的感知演算法根據(jù)建構(gòu)BEV特徵的方式可以大致分成兩類演算法模型：

• 一類是以LSS演算法為代表的前向BEV特徵建構(gòu)方式，這類感知演算法模型首先是利用感知模型中的深度估計網(wǎng)路來預(yù)測特徵圖的每個像素點的語意特徵資訊以及離散深度機率分佈，然後將得到的語意特徵資訊與離散深度機率採用外積運算的方式建構(gòu)語意視錐特徵，採用BEV池化等方式最終完成BEV空間特徵的建構(gòu)過程。
• 另一類是以BEVFormer演算法為代表的反向BEV特徵建構(gòu)方式，這類感知演算法模型首先是在感知的BEV空間下明確的產(chǎn)生3D體素座標點，然後利用相機的內(nèi)外參將3D體素座標點投影回影像座標系下，並對對應(yīng)特徵位置的像素特徵進行擷取與聚合，以建構(gòu)出BEV空間下的BEV特徵。

儘管兩種演算法都能夠準確產(chǎn)生BEV空間下的特徵並實現(xiàn)3D感知結(jié)果，但在目前基於BEV空間的3D目標感知演算法中，例如BEVFormer演算法，存在以下兩個問題：

• 問題一：由於BEVFormer感知演算法模型整體框架採用的是Encoder-Decoder的網(wǎng)路結(jié)構(gòu)，其主要想法是利用Encoder模組取得BEV空間下的特徵，然後利用Decoder模組預(yù)測最終的感知結(jié)果，並透過將輸出的感知結(jié)果與真值目標計算損失來實現(xiàn)模型預(yù)測的BEV空間特徵的過程。但透過這種網(wǎng)路模型的參數(shù)更新方式會過度依賴Decoder模組的感知性能，導致可能存在模型輸出的BEV特徵與真值BEV特徵並不對齊的問題，從而進一步限制感知模型最終的表現(xiàn)性能。
• 問題二：由於BEVFormer感知演算法模型的Decoder模組依舊沿用Transformer中的自註意力模組->交叉注意力模組->前饋神經(jīng)網(wǎng)路的步驟完成Query特徵的建構(gòu)輸出最終的檢測結(jié)果，其整個過程依舊是一個黑盒模型，缺乏良好的可解釋性。同時，Object Query與真值目標之間的一對一配對過程在模型訓練的過程中也存在著很大的不確定性。

為了解決BEVFormer感知演算法模型存在的問題，我們對其進行了改進，提出了基於環(huán)視圖像的3D檢測演算法模型CLIP-BEVFormer。我們透過引入對比學習的方法，增強了模型對BEV特徵的建構(gòu)能力，並在nuScenes資料集上實現(xiàn)了領(lǐng)先水準的感知效能。

文章連結(jié)：https://arxiv.org/pdf/2403.08919.pdf

網(wǎng)路模型的整體架構(gòu)&細節(jié)梳理

在詳細在介紹本文提出的CLIP-BEVFormer感知演算法模型細節(jié)之前，下圖展示了CLIP-BEVFormer演算法的整體網(wǎng)路結(jié)構(gòu)。

本文提出的CLIP-BEVFormer感知演算法模型整體流程圖

透過演算法的整體流程圖可以看出，本文提出的CLIP-BEVFormer演算法模型是在BEVFormer演算法模型的基礎(chǔ)上進行改進的，這裡先簡單回顧一下BEVFormer感知演算法模型的實作過程。首先，BEVFormer演算法模型輸入的是相機感測器擷取到的環(huán)視圖像數(shù)據(jù)，利用2D的影像特徵來擷取網(wǎng)路提取輸入環(huán)視圖像的多尺度語意特徵資訊。其次，利用包含時序自註意力和空間交叉注意力的Encoder模組完成2D影像特徵向BEV空間特徵的轉(zhuǎn)換過程。然後，在3D感知空間中以常態(tài)分佈的形式產(chǎn)生一組Object Query，並送入Decoder模組中完成與Encoder模組輸出的BEV空間特徵的空間特徵交互利用。最後利用前饋神經(jīng)網(wǎng)路預(yù)測Object Query查詢到的語意特徵，輸出網(wǎng)路模型最終的分類與迴歸結(jié)果。同時，在BEVFormer演算法模型訓練的過程中，採用一對一的匈牙利配對策略完成正負樣本的分配過程，並利用分類和迴歸損失完成整體網(wǎng)路模型參數(shù)的更新過程。 BEVFormer演算法模型整體的偵測過程可以用如下的數(shù)學公式來表示：

其中，公式中的代表BEVFormer演算法中的Encoder特徵擷取模組，代表BEVFormer演算法中的Decoder解碼模組，代表資料集中的真值目標標籤，代表目前BEVFormer演算法模型輸出的3D感知結(jié)果。

真值BEV的生成

在上文已經(jīng)有提到，現(xiàn)有的絕大多數(shù)基於BEV空間的3D目標偵測演算法沒有顯式的對產(chǎn)生的BEV空間特徵進行監(jiān)督，導致模型產(chǎn)生的BEV特徵可能存在與真實的BEV特徵不一致的問題，這種BEV空間特徵的分佈差異會限制模型最終的感知性能?；哆@個考慮出發(fā)，我們提出了Ground Truth BEV模組，我們設(shè)計該模組的核心思路是想讓模型生成的BEV特徵可以和當前真值BEV特徵進行對齊，從而提高模型的表現(xiàn)性能。

具體而言，如整體網(wǎng)路框架圖所示，我們使用了一個真值編碼器（）用來對BEV特徵圖上的任意一個真值實例的類別標籤和空間邊界框位置資訊進行編碼，該過程可以用公式表述成如下的形式：

其中公式中的具有和生成的BEV特徵圖同等大小的特徵維度，代表某個真值目標被編碼後的特徵資訊。在編碼的過程中，我們採用了兩種形式，一種是大語言模型（LLM），另一種是多層感知機（MLP），透過實驗結(jié)果發(fā)現(xiàn)，兩種方式基本上達到了同樣的表現(xiàn)。

除此之外，我們?yōu)榱诉M一步增強真值目標在BEV特徵圖上的邊界信息，我們在BEV特徵圖上根據(jù)真值目標所在的空間位置將其裁剪下來，並對裁剪後的特徵採用池化操作建構(gòu)對應(yīng)的特徵資訊表示，該過程可以表述成如下的形式：

最後，我們?yōu)榱藢崿F(xiàn)模型產(chǎn)生的BEV特徵與真值BEV特徵的進一步對齊，我們採用了對比學習的方法來優(yōu)化兩類BEV特徵之間的元素關(guān)係和距離，其優(yōu)化過程可以表述成如下的形式：

##其中公式中的和分別代表產(chǎn)生的BEV特徵和真值BEV特徵之間的相似度矩陣，代表對比學習中的邏輯尺度因子，表示矩陣間的乘法運算，代表交叉熵損失函數(shù)。透過上述對比學習的方式，我們提出的方法可以為生成的BEV特徵提供更明確的特徵指導，提高模型的感知能力。

真值目標查詢交互

這部分在前文中也有提到，BEVFormer感知演算法模型中的Object Query透過Decoder模組與產(chǎn)生的BEV特徵進行交互，獲得對應(yīng)的目標查詢特徵，但該過程整體還是一個黑盒子過程，缺少一個完整的流程理解。針對這個問題，我們引入了真值查詢交互模組，透過將真值目標來執(zhí)行Decoder模組的BEV特徵交互作用來激發(fā)模型參數(shù)的學習過程。具體而言，我們將真值編碼器（）模組輸出的真值目標編碼訊息引入到Object Query當中參與Decoder模組的解碼過程，與正常的Object Query參與相同的自註意力模組，交叉注意力模組以及前饋神經(jīng)網(wǎng)路輸出最終的感知結(jié)果。但要注意的是，在解碼的過程中，所有的Object Query均是採用了並行計算的方式，防止真值目標訊息的洩漏。整個真值目標查詢互動過程，可以抽象表述成如下的形式：

#其中，公式中的代表初始化的Object Query，和分別代表真值Object Query經(jīng)過Decoder模組和感知偵測頭的輸出結(jié)果。透過在模型訓練的過程中引入真值目標的交互過程，我們提出的真值目標查詢交互模組可以實現(xiàn)真值目標查詢與真值BEV特徵進行交互，從而輔助模型Decoder模組的參數(shù)更新過程。

實驗結(jié)果&評估指標

定量分析部分

為了驗證我們提出的CLIP-BEVFormer演算法模型的有效性，我們分別在nuScenes資料集上從3D感知效果、資料集中目標類別的長尾分佈情況以及魯棒性等角度出發(fā)進行了相關(guān)實驗，下表是我們提出的演算法模型與其他3D感知演算法模型在nuScenes資料集上的精確度比較情況。

本文所提出的方法與其他感知演算法模型的比較結(jié)果

在這部分實驗中，我們分別評估了不同模型配置情況下的感知性能，具體而言，我們將CLIP-BEVFormer演算法模型應(yīng)用於BEVFormer的tiny和base變體中。此外，我們也探討了將預(yù)先訓練的CLIP模型或MLP層作為真值目標編碼器對於模型感知效能的影響。透過實驗結(jié)果可以看出，無論是原先的tiny或base變體，在應(yīng)用了我們提出的CLIP-BEVFormer演算法後，NDS和mAP指標均有穩(wěn)定的效能提升。除此之外，透過實驗結(jié)果我們可以發(fā)現(xiàn)，對於真值目標編碼器選擇MLP層還是語言模型，我們提出的演算法模型對於此並不敏感，這種彈性可以讓我們提出的CLIP-BEVFormer演算法更具有適應(yīng)能力並且方便上車部署?？傊覀兲岢龅难菟惴Ｐ偷母黝愖凅w的性能指標一致表明提出的CLIP-BEVFormer演算法模型具有很好的感知穩(wěn)健性，可以在不同模型複雜度和參數(shù)量的情況下實現(xiàn)出色的檢測性能。

除了驗證我們提出的CLIP-BEVFormer在3D感知任務(wù)上的表現(xiàn)外，我們還進行了長尾分佈的實驗來評估我們的演算法在面對資料集中存在長尾分佈情況下的魯棒性和泛化能力，實驗結(jié)果匯總在下表

提出的CLIP-BEVFormer演算法模型在長尾問題上的表現(xiàn)性能

通過上表的實驗結(jié)果可以看出，nuScenes資料集中表現(xiàn)出了極大的類別數(shù)量不均衡的問題，其中一些類別如（建築車輛、公車、摩托車、自行車等）佔比很低，但是對於小型汽車的佔比非常高。我們透過進行長尾分佈的相關(guān)實驗來評估所提出的CLIP-BEVFormer演算法模型在特徵類別上的感知效能，從而驗證其解決較不常見類別的處理能力。透過上述的實驗數(shù)據(jù)可以看出，提出的CLIP-BEVFormer演算法模型在所有類別上均實現(xiàn)了性能的提升，並且在對於佔比極少的類別上，CLIP-BEVFormer演算法模型展示出了明顯的實質(zhì)性改進。

考慮到在真實環(huán)境下的自動駕駛系統(tǒng)需要面臨硬體故障、惡劣天氣狀況或人造障礙物容易引發(fā)的感測器故障等問題，我們進一步實驗驗證了所提出的演算法模型的穩(wěn)健性。具體而言，我們?yōu)榱四M感測器的故障問題，我們在模型實施推理的過程中隨機對一個相機的攝像頭進行遮擋，從而實現(xiàn)對於相機可能出現(xiàn)故障的場景進行模擬，相關(guān)的實驗結(jié)果如下表所示

所提出的CLIP-BEVFormer演算法模型的穩(wěn)健性實驗結(jié)果

透過實驗結(jié)果可以看出，無論是在tiny或base的模型參數(shù)配置下，我們提出的CLIP-BEVFormer演算法模型始終要優(yōu)於BEVFormer的相同配置的基準模型，驗證了我們的演算法模型在模擬感測器故障情況下的優(yōu)越性能和優(yōu)秀的魯棒性。

定性分析部分

下圖展示了我們提出的CLIP-BEVFormer演算法模型與BEVFormer演算法模型的感知結(jié)果視覺化對比情況。透過視覺化的結(jié)果可以看出，我們提出的CLIP-BEVFormer演算法模型的感知結(jié)果與真值目標更加的接近，顯示我們提出的真值BEV特徵產(chǎn)生模組與真值目標查詢互動模組的有效性。

提出的CLIP-BEVFormer演算法模型與BEVFormer演算法模型感知結(jié)果的視覺化對比情況

結(jié)論

#在本文中，針對原有的BEVFormer演算法當中存在的生成BEV特徵圖過程中缺少顯示監(jiān)督以及Decoder模組中Object Query與BEV特徵交互查詢的不確定問題，我們提出了CLIP-BEVFormer演算法模型，並從演算法模型的3D感知性能、目標長尾分佈以及在感測器故障的穩(wěn)健性等方面進行實驗，大量的實驗結(jié)果顯示我們提出的CLIP-BEVFormer演算法模型的有效性。