這篇論文探討了在自動駕駛中，從不同視角（如透視圖和鳥瞰圖）準確地偵測物體的問題，特別是如何有效地從透視圖（PV）到鳥瞰圖（BEV）空間轉(zhuǎn)換特徵，這一轉(zhuǎn)換是透過視覺轉(zhuǎn)換（VT）模組實施的?，F(xiàn)有的方法大致分為兩種策略：2D到3D和3D到2D轉(zhuǎn)換。 2D到3D的方法透過預(yù)測深度機率來提升密集的2D特徵，但深度預(yù)測的固有不確定性，尤其是在遠處區(qū)域，可能會引入不準確性。而3D到2D的方法通常使用3D查詢來採樣2D特徵，並透過Transformer學(xué)習(xí)3D和2D特徵之間對應(yīng)關(guān)係的注意力權(quán)重，這增加了計算和部署的複雜性。

論文指出，現(xiàn)有的方法如HeightFormer和FB-BEV嘗試結(jié)合這兩種VT策略，但這些方法通常採用兩階段策略，由於雙VT的特徵轉(zhuǎn)換不同，受到初始特徵性能的限制，從而阻礙了雙VT之間的無縫融合。此外，這些方法在實現(xiàn)自動駕駛的即時部署方面仍面臨挑戰(zhàn)。

針對這些問題，論文提出了一種統(tǒng)一的特徵轉(zhuǎn)換方法，適用於2D到3D和3D到2D的視覺轉(zhuǎn)換，透過三種機率測量來評估3D和2D特徵之間的對應(yīng)關(guān)係：BEV機率、投影機率和影像機率。此新方法旨在減輕BEV網(wǎng)格中空白區(qū)域?qū)μ蒯缃?gòu)的影響，區(qū)分多個對應(yīng)關(guān)係，並在特徵轉(zhuǎn)換過程中排除背景特徵。

透過應(yīng)用這種統(tǒng)一的特徵轉(zhuǎn)換，論文探討了使用卷積神經(jīng)網(wǎng)路（CNN）進行3D到2D視覺轉(zhuǎn)換的新方法，並引入了稱為HeightTrans的方法。除了展示了其卓越的性能外，還展示了透過預(yù)計算加速的潛力，使其適用於即時自動駕駛應(yīng)用。同時，透過整合此特徵轉(zhuǎn)換，增強了傳統(tǒng)的LSS流程，展現(xiàn)了其對目前偵測器的普適性。

結(jié)合HeightTrans和Prob-LSS，論文介紹了DualBEV，這是一種創(chuàng)新的方法，它在一階段內(nèi)就考慮並融合了來自BEV和透視視圖的對應(yīng)關(guān)係，消除了對初始特徵的依賴。此外，提出了一個強大的BEV特徵融合模組，稱為雙特徵融合（DFF）模組，透過利用通道注意力模組和空間注意力模組，進一步幫助精細化BEV機率預(yù)測。 DualBEV遵循「廣泛輸入，嚴格輸出」的原則，透過利用精確的雙視圖機率對應(yīng)關(guān)係來理解和表示場景的機率分佈。

論文的主要貢獻如下：

1. 揭示了3D到2D和2D到3D視覺轉(zhuǎn)換之間的內(nèi)在相似性，并提出了一種統(tǒng)一的特征轉(zhuǎn)換方法，能夠從BEV和透視視圖兩個方面準確建立對應(yīng)關(guān)系，顯著縮小了雙策略之間的差距。
2. 提出了一種新的基于CNN的3D到2D視覺轉(zhuǎn)換方法HeightTrans，通過概率采樣和查找表的預(yù)計算，有效且高效地建立精確的3D-2D對應(yīng)關(guān)系。
3. 引入了DFF用于雙視圖特征融合，這種融合策略在一階段內(nèi)捕獲近遠區(qū)域的信息，從而生成全面的BEV特征。
4. 他們的高效框架DualBEV在nuScenes測試集上實現(xiàn)了55.2%的mAP和63.4%的NDS，即使沒有使用Transformer，也突顯了捕獲精確雙視圖對應(yīng)關(guān)系對視圖轉(zhuǎn)換的重要性。

通過這些創(chuàng)新，論文提出了一種新的策略，以克服現(xiàn)有方法的限制，在自動駕駛等實時應(yīng)用場景中實現(xiàn)更高效、更準確的物體檢測。

詳解DualBEV

這篇論文提出的方法旨在通過統(tǒng)一的特征轉(zhuǎn)換框架，DualBEV，解決自動駕駛中的BEV（鳥瞰圖）對象檢測問題。以下是方法部分的主要內(nèi)容，概括了其不同子部分和關(guān)鍵創(chuàng)新。

DualBEV概述

DualBEV的處理流程從多個相機獲取的圖像特征??開始，接著使用SceneNet生成實例mask??和深度圖?. 接下來，通過HeightTrans模塊和Prob-LSS流水線提取和轉(zhuǎn)換特征，最后這些特征被融合并用于預(yù)測BEV空間的概率分布?，以得到最終的BEV特征?，用于后續(xù)任務(wù)。

HeightTrans

HeightTrans是基于3D到2D視覺轉(zhuǎn)換的原理，通過選擇3D位置并投影到圖像空間，以及評估這些3D-2D對應(yīng)關(guān)系。這個方法首先在預(yù)定義的BEV圖中采樣一組3D點，然后仔細考慮和過濾這些對應(yīng)關(guān)系以生成BEV特征。HeightTrans通過采用多分辨率采樣策略和概率采樣方法來增強對小物體的關(guān)注，并解決背景像素帶來的誤導(dǎo)問題。此外，通過引入BEV概率??來解決空白BEV網(wǎng)格的問題。HeightTrans模塊是論文提出的關(guān)鍵技術(shù)之一，專注于通過3D到2D視覺轉(zhuǎn)換（VT）來處理和轉(zhuǎn)換特征。它基于從預(yù)定義的鳥瞰圖（BEV）地圖中選擇3D位置，并將這些位置投影到圖像空間，從而評估3D和2D之間的對應(yīng)關(guān)系。以下是HeightTrans工作原理的詳細介紹：

BEV Height

HeightTrans方法在處理高度時采用了一種多分辨率采樣策略，覆蓋整個高度范圍（從-5米到3米），在興趣區(qū)域（ROI，定義為-2米到2米內(nèi)）的分辨率為0.5米，在此范圍外的分辨率為1.0米。這種策略有助于增加對小物體的關(guān)注，這些小物體可能會在更粗糙的分辨率采樣中被遺漏。

Prob-Sampling

HeightTrans在概率采樣方面采用了以下步驟：

1. 定義3D取樣點：預(yù)先定義一組3D取樣點?，每個點由其在3D空間中的位置??定義。
2. 投影到2D空間：利用相機的外參矩陣??與內(nèi)參矩陣?，3D點投影到2D影像空間中的點?，其中??表示點的深度。
3. 特徵取樣：使用雙線性網(wǎng)格取樣器??在投影位置??處取樣影像特徵?：
4. 利用實例mask：為了避免投影位置落在背景像素上，利用SceneNet產(chǎn)生的實例mask??來代表影像機率?#，並將其應(yīng)用於影像特徵，以減少誤導(dǎo)性資訊的影響：
5. 處理多重對應(yīng)關(guān)係：使用三線性網(wǎng)格取樣器??在深度圖 中評估多個3D點映射到同一2D位置的情況，即投影機率?：
6. 引入BEV機率：為了解決BEV網(wǎng)格中空白格不提供有用資訊的問題，引入BEV機率??來表示BEV網(wǎng)格的佔用機率，其中??是BEV空間中的位置：

#加速

透過預(yù)先計算3D點在BEV空間中的索引，並在推理期間固定影像特徵索引和深度圖索引，HeightTrans能夠加速視覺轉(zhuǎn)換過程。最終的HeightTrans特徵透過對每個BEV網(wǎng)格中預(yù)先定義

Prob-LSS

Prob-LSS擴展了傳統(tǒng)的LSS（Lift, Splat, Shoot）管道，透過預(yù)測每個像素的深度機率來促進其投影到BEV空間。此方法進一步整合了BEV機率，透過以下公式建構(gòu)LSS特徵：

這樣做可以更好地處理深度估計中的不確定性，從而減少BEV空間中的冗餘資訊。

雙特徵融合（Dual Feature Fusion, DFF）

#DFF模組旨在融合HeightTrans和Prob-LSS的特徵，並有效預(yù)測BEV機率。透過結(jié)合通道注意力模組和空間注意力增強的ProbNet，DFF能夠優(yōu)化特徵選擇和BEV機率預(yù)測，以增強對近處和遠處物件的表徵。這種融合策略考慮了來自兩個流的特徵的互補性，同時也透過計算局部和全局注意力來增強BEV機率的準確性。

總之，這篇論文提出的DualBEV框架透過結(jié)合HeightTrans和Prob-LSS，以及創(chuàng)新的雙特徵融合模組，實現(xiàn)了對3D和2D特徵之間對應(yīng)關(guān)係的高效評估和轉(zhuǎn)換。這不僅橋接了2D到3D和3D到2D轉(zhuǎn)換策略之間的差距，而且還透過預(yù)計算和機率測量加速了特徵轉(zhuǎn)換過程，使其適合即時自動駕駛應(yīng)用。

此方法的關(guān)鍵在於對不同視角下的特徵進行精確對應(yīng)和高效融合，從而在BEV物件檢測中實現(xiàn)了出色的性能。

實驗

DualBEV方法的變體（帶有星號的DualBEV* ）在單一幀輸入條件下表現(xiàn)最佳，達到了35.2%的mAP和42.5%的NDS，這表明它在準確性和綜合性能上都超過了其他方法。特別是在mAOE上，DualBEV*實現(xiàn)了0.542的分數(shù)，這是單幀方法中最好的。然而，它在mATE和mASE上的表現(xiàn)並沒有明顯優(yōu)於其他方法。

當(dāng)輸入幀數(shù)增加到兩幀時，DualBEV的表現(xiàn)進一步提升，mAP達到38.0%，NDS達到50.4%，這是所有列出方法中最高的NDS，表明DualBEV在處理更復(fù)雜的輸入時能夠更全面地理解場景。在多幀方法中，它在mATE、mASE、和mAAE上也展現(xiàn)了較強的性能，特別是在mAOE上有明顯的改善，顯示出其在估計物體方向上的優(yōu)勢。

從這些結(jié)果可以分析得出，DualBEV及其變體在多個重要的性能指標上均有出色表現(xiàn)，尤其是在多幀設(shè)置下，表明其對BEV對象檢測任務(wù)具有較好的準確性和魯棒性。此外，這些結(jié)果還強調(diào)了使用多幀數(shù)據(jù)的重要性，可以提高模型的整體性能和估計準確性。

下面是對各個消融實驗結(jié)果的分析：

• 添加ProbNet、HeightTrans、CAF（Channel Attention Fusion）、SAE（Spatial Attention Enhanced）等組件逐步提升了Baseline的性能。
• HeightTrans的加入顯著提高了mAP和NDS，這表明在視覺轉(zhuǎn)換中引入高度信息是有效的。
• CAF進一步提升了mAP，但略微增加了延遲。
• SAE的引入提升了NDS到最高的42.5%，同時對mAP也有提升，說明空間注意力機制有效地增強了模型性能。
• 不同的概率措施（投影概率?，圖像概率?，BEV概率?）逐步加入對比試驗。
• 當(dāng)全部三種概率同時使用時，模型達到了最高的mAP和NDS，這表明這些概率的結(jié)合對于模型性能至關(guān)重要。
• Prob-Sampling在相似的延遲下（0.32ms），比其他的VT操作具有更高的NDS（39.0%），這強調(diào)了概率采樣在性能上的優(yōu)越性。
• 多分辨率（MR）采樣策略相對于均勻采樣策略，在使用相同數(shù)量的采樣點時能達到相似或更好的性能。
• 通過將投影概率、圖像概率和BEV概率加入到LSS流程，Prob-LSS的表現(xiàn)超過了其他的LSS變體，提高了mAP和NDS，顯示了結(jié)合這些概率的有效性。
• 與多階段的精細化（Refine）策略相比，單階段的添加（Add）策略和DFF模塊都能取得更高的NDS，而DFF在mAP上也有輕微的提升，這表明DFF作為一種單階段的融合策略，在效率和性能上都是有益的。

消融實驗表明了HeightTrans、概率措施、Prob-Sampling和DFF等組件及策略對提高模型性能至關(guān)重要。此外，多分辨率采樣策略在高度信息上的使用也證明了其有效性。這些發(fā)現(xiàn)支持了作者在方法部分提出的每一項技術(shù)都對模型性能有正面貢獻的論點。

討論

這篇論文通過一系列消融實驗展示了其方法的性能。從實驗結(jié)果可以看出，論文提出的DualBEV框架和它的各個組成部分均對提高鳥瞰圖（BEV）對象檢測的準確性具有積極影響。

論文的方法通過將ProbNet、HeightTrans、CAF（Channel Attention Fusion）、和SAE（Spatial Attention Enhanced）模塊逐步引入到基線模型中，顯示出在mAP和NDS兩個指標上均有顯著提升，這證明了每個組件在整個架構(gòu)中都發(fā)揮了重要作用。尤其是引入SAE后，NDS得分提高到了最高點42.5%，同時延遲只有輕微增加，這表明了該方法在精度和延遲之間取得了良好的平衡。

概率消融實驗結(jié)果進一步證實了投影概率、圖像概率和BEV概率在提高檢測性能方面的重要性。當(dāng)這些概率被逐一引入時，系統(tǒng)的mAP和NDS得分穩(wěn)步提升，這表明了將這些概率措施集成到BEV對象檢測任務(wù)中的重要性。

在視覺轉(zhuǎn)換（VT）操作的比較中，論文提出的Prob-Sampling方法與其他操作如SCAda和Bilinear-Sampling相比，顯示出較低的延遲和更高的NDS得分，這強調(diào)了其在效率和性能上的優(yōu)勢。此外，對于不同的高度采樣策略，采用多分辨率（MR）策略而不是統(tǒng)一采樣能夠進一步提高NDS得分，這表明了考慮場景中不同高度的信息對于提升檢測性能的重要性。

此外，對于不同的特征融合策略，論文展示了DFF方法在簡化模型的同時，依然能夠維持高NDS得分的能力，這意味著在一階段處理流程中融合雙流特征是有效的。

然而，盡管論文提出的方法在多個方面表現(xiàn)出色，每項改進也都會導(dǎo)致系統(tǒng)復(fù)雜度和計算成本的增加。例如，每引入一個新的組件（如ProbNet、HeightTrans等），系統(tǒng)的延遲都會有所增加，盡管延遲的增加是微小的，但在實時或低延遲要求的應(yīng)用中，這可能成為考慮因素。此外，雖然概率措施有助于性能提升，但也需要額外的計算資源來估計這些概率，可能導(dǎo)致更高的資源消耗。

論文提出的DualBEV方法在提高BEV對象檢測的精度和綜合性能方面取得了顯著的成果，特別是在將深度學(xué)習(xí)的最新進展與視覺轉(zhuǎn)換技術(shù)相結(jié)合的方面。但這些進步是以輕微增加計算延遲和資源消耗為代價的，實際應(yīng)用時需要根據(jù)具體情況權(quán)衡這些因素。

結(jié)論

該方法在BEV對象檢測任務(wù)中表現(xiàn)出色，顯著提高了準確性和綜合性能。通過引入概率采樣、高度轉(zhuǎn)換、注意力機制和空間關(guān)注增強網(wǎng)絡(luò)，DualBEV成功地提升了多個關(guān)鍵性能指標，特別是在鳥瞰圖（BEV）的精度和場景理解方面。實驗結(jié)果表明，論文的方法在處理復(fù)雜場景和不同視角數(shù)據(jù)時尤為有效，這對于自動駕駛和其他實時監(jiān)控應(yīng)用至關(guān)重要。