私は最近、Arxiv で純粋な視覚的周囲知覚に関する最近の研究を読みました。この研究は PETR シリーズの手法に基づいており、長距離ターゲット検出の純粋な視覚的知覚の問題を解決することに焦點を當(dāng)てており、知覚範(fàn)囲を 150 メートルに拡張しています。 。この論文の手法と結(jié)果は非常に參考になるので、解釈してみました

原題: Far3D: Expanding the Horizo??n for Surround-view 3D Object Detection
論文リンク: https:/ /arxiv.org/abs/2308.09616
著者の所屬: 北京理工大學(xué)および Megvii Technology

ミッションの背景

3 次元物體検出は、自動運転の 3 次元シーンを理解する上で重要な役割を果たし、その目的は、車両周囲の物體の位置を正確に特定し、分類することです。純粋な視覚的な周囲認(rèn)識方法には、低コストと幅広い適用性という利點があり、大幅な進(jìn)歩を遂げています。ただし、そのほとんどは短距離センシングに焦點を當(dāng)てており (たとえば、nuScenes のセンシング距離は約 50 メートル)、長距離検出分野はあまり検討されていません。遠(yuǎn)くの物體を検出することは、実際の運転中、特に高速時や複雑な道路狀況で安全な距離を維持するために重要です。

最近、サラウンドビュー畫像からの 3D オブジェクト検出が大幅に進(jìn)歩し、低コストで導(dǎo)入できるようになりました。しかし、ほとんどの研究は主に短距離の感知範(fàn)囲に焦點を當(dāng)てており、長距離の検出に関する研究はほとんどありません。長距離をカバーするために既存の方法を直接拡張すると、高い計算コストや不安定な収束などの課題に直面します。これらの制限に対処するために、この文書では Far3D と呼ばれる新しいスパース クエリベースのフレームワークを提案します。

論文アイデア

中間表現(xiàn)によると、既存のルックアラウンドセンシング手法は、BEV表現(xiàn)に基づく手法とスパースに基づく手法の2つに大別できます。クエリ表現(xiàn)。 BEV 表現(xiàn)に基づく方法は、BEV の特徴を集中的に計算する必要があるため、非常に多くの計算量が必要となり、長距離シナリオへの拡張が困難になります。スパースクエリ表現(xiàn)に基づく方法は、トレーニングデータからグローバル3Dクエリを?qū)W習(xí)し、計算量が比較的少なく、強(qiáng)力なスケーラビリティを備えています。ただし、いくつかの弱點もあります。クエリ數(shù)の二乗増加は回避できますが、グローバル固定クエリは動的なシナリオに適応するのが容易ではなく、長距離検出ではターゲットが見逃されることがよくあります。

図 1: Argoverse 2 データセットでの 3D 検出と 2D 検出のパフォーマンスの比較。

長距離検出では、スパース クエリ表現(xiàn)に基づく方法には 2 つの主な課題があります。

1 つ目は、リコールのパフォーマンスが低いことです。 3D 空間ではクエリがまばらに分散しているため、長距離範(fàn)囲では少數(shù)の一致するポジティブ クエリしか生成できません。上の図に示すように、3D 検出の再現(xiàn)率は低いのに対し、既存の 2D 検出の再現(xiàn)率ははるかに高く、両者の間には明らかなパフォーマンスの差が生じています。したがって、高品質(zhì)の 2D オブジェクト事前分布を利用して 3D クエリを改善することは有望な方法であり、オブジェクトの正確な位置決めと包括的なカバレッジを達(dá)成するのに有益です。

1. 第二に、2D 検出結(jié)果を直接導(dǎo)入して 3D 検出を支援すると、エラーの伝播の問題に直面します。以下の図に示すように、2 つの主な原因は、1) 不正確な深度予測によるオブジェクトの位置決め誤差、2) 錐臺変換における 3D 位置誤差が距離とともに増加することです。これらのノイズの多いクエリはトレーニングの安定性に影響を與えるため、最適化するには効果的なノイズ除去方法が必要です。さらに、トレーニング中、モデルは、まばらに分散された遠(yuǎn)くのオブジェクトを無視しながら、密集した近くのオブジェクトにオーバーフィットする傾向を示します。

上記の問題に対処するために、この記事では次の設(shè)計計畫を採用します。

1. データセットから學(xué)習(xí)した 3D グローバル クエリに加えて、2D 検出結(jié)果から生成された 3D アダプティブ クエリも導(dǎo)入されています。具體的には、2D 検出器と深度予測ネットワークを最初に使用して 2D ボックスと対応する深度を取得し、次に 3D 適応クエリの初期化として空間変換を通じて 3D 空間に投影します。
2. さまざまな距離にあるさまざまなスケールのオブジェクトに適応するために、遠(yuǎn)近感を意識した集約が設(shè)計されています。これにより、3D クエリがさまざまなスケールのフィーチャと対話できるようになり、さまざまな距離にあるオブジェクトのフィーチャ キャプチャに役立ちます。たとえば、遠(yuǎn)くのオブジェクトには高解像度の機(jī)能が必要ですが、近くのオブジェクトには異なる機(jī)能が必要です。この設(shè)計により、モデルがフィーチャと適応的に対話できるようになります。
3. レンジ変調(diào) 3D ノイズ除去と呼ばれる戦略は、クエリ エラーの伝播と収束の遅さの問題を軽減するために設(shè)計されています。距離が異なるとクエリ回帰の難易度が異なることを考慮して、ノイズの多いクエリは実際のボックスの距離とスケールに応じて調(diào)整されます。 GT 付近のノイズの多いクエリの複數(shù)のセットをデコーダに入力して、3D リアル ボックス (正のサンプルの場合) を再構(gòu)築し、負(fù)のサンプルをそれぞれ破棄します。

主な貢獻(xiàn)

1. この論文は、3D 適応型オブジェクトを生成する前に高品質(zhì)の 2D オブジェクトを使用する、新しいスパース クエリベースの検出フレームワークを提案します。クエリを?qū)g行することで、3D 検出の認(rèn)識範(fàn)囲が拡大します。
2. この記事では、さまざまなスケールや観點から視覚的特徴を集約するパースペクティブ認(rèn)識集約モジュールと、クエリ エラーの伝播とフレームワークの収束の問題を解決するためのターゲット距離に基づく 3D ノイズ除去戦略を設(shè)計します。
3. 長距離 Argoverse 2 データセットの実験結(jié)果では、Far3D が以前のルックアラウンド手法を上回り、いくつかの LIDAR ベースの手法を上回るパフォーマンスを示しています。そしてその一般性は nuScenes データセットで検証されています。

モデル設(shè)計

Far3D プロセスの概要:

1. サラウンド畫像をバックボーン ネットワークに入力するおよび FPN レイヤーは、2D 畫像特徴をエンコードし、カメラ パラメーターを使用してエンコードします。
2. 2D 検出器と深度予測ネットワークを利用して、信頼性の高い 2D オブジェクト ボックスとそれに対応する深度を生成し、カメラ変換を通じて 3D 空間に投影します。
3. 生成された 3D 適応クエリは、最初の 3D グローバル クエリと結(jié)合され、デコーダ層によって反復(fù)的に回帰されて 3D オブジェクト フレームが予測されます。さらに、このモデルは長期的なクエリ伝播を通じて時系列モデリングを?qū)g裝できます。

視點を意識した集約:

マルチスケール機(jī)能を長距離検出モデルに導(dǎo)入するため, この記事は 3D 空間変形可能注意を適用します。まず、クエリに対応する 3D 位置付近でオフセット サンプリングを?qū)g行し、次に 3D-2D ビュー変換を通じて畫像特徴を集約します。 PETR シリーズで世界的に注目されているのではなく、この方法の利點は、計算の複雑さを大幅に軽減できることです。具體的には、3D 空間內(nèi)の各クエリの參照點について、モデルはその周囲の M 個のサンプリング オフセットを?qū)W習(xí)し、これらのオフセット ポイントをさまざまな 2D ビュー フィーチャに投影します。

その後、3D クエリは投影されたサンプリングされたフィーチャと対話します。このようにして、異なる視點や規(guī)模のさまざまな特徴が、相対的な重要性を考慮して 3 次元のクエリにまとめられます。

レンジ調(diào)整された 3D ノイズ除去:

異なる距離での 3D クエリには異なる回帰困難があり、既存の 2D ノイズ除去方法 (DN-DETR、2D など) とは異なります。通常は同等に扱われるクエリ)。難易度の違いは、クエリのマッチング密度とエラーの伝播に起因します。一方で、遠(yuǎn)方のオブジェクトに対応するクエリ一致度は、近くのオブジェクトに比べて低くなります。一方、3D アダプティブ クエリに 2D 事前分布を?qū)毪工毪取ⅴ芝弗Д趣尉嚯xが増加するにつれてこの影響が増大することは言うまでもなく、2D オブジェクト ボックスの小さな誤差が増幅されます。したがって、GT ボックスに近い一部のクエリは肯定的なクエリと見なすことができますが、明らかな逸脫を持つその他のクエリは否定的なクエリと見なす必要があります。この論文では、これらのポジティブ サンプルを最適化し、ネガティブ サンプルを直接破棄することを目的とした 3D デノイズ手法を提案します。

具體的には、著者らは、陽性サンプルと陰性サンプルのグループを同時に追加することにより、GT ベースのノイズの多いクエリを構(gòu)築します。どちらのタイプでも、オブジェクトの位置とサイズに基づいてランダム ノイズが適用され、長距離知覚におけるノイズ除去學(xué)習(xí)が容易になります。具體的には、正のサンプルは 3D ボックス內(nèi)のランダムな點ですが、負(fù)のサンプルは GT に大きなオフセットを課し、オフセット範(fàn)囲はオブジェクトの距離に応じて変化します。この方法では、トレーニング プロセス中にノイズの多い陽性候補(bǔ)サンプルと偽陽性サンプルをシミュレートできます。

実験結(jié)果

Far3D は、Argoverse 2 で 150 m の検知範(fàn)囲で達(dá)成されました。最高のパフォーマンスです。また、モデルをスケールアップした後は、いくつかの Lidar ベースの手法のパフォーマンスを達(dá)成でき、純粋な視覚手法の可能性を?qū)g証します。

汎化パフォーマンスを検証するために、著者は nuScenes データ セットでも実験を?qū)g施し、検証セットとテスト セットの両方で SoTA パフォーマンスを達(dá)成したことを示しました。

アブレーション実験の後、次の結(jié)論に達(dá)しました: 3D 適応クエリ、視點を意識した集計、および範(fàn)囲調(diào)整された 3D ノイズ リダクションにはそれぞれ一定のゲインがあります

この論文についての考え

Q: この記事の新規(guī)性は何ですか?
A: 主な新規(guī)性は問題を解決することです。遠(yuǎn)距離シーンの認(rèn)識。既存の方法を長距離シナリオに拡張するには、計算コストや収束の困難など、多くの問題があります。この記事の著者は、このタスクのための効率的なフレームワークを提案しています。各モジュールは個別に見慣れたものに見えますが、すべて遠(yuǎn)くのターゲットの検出に役立ち、明確な目標(biāo)があります。

Q: BevFormer v2 と比較して、MV2D の違いは何ですか?
A: MV2D は主に 2D アンカーに依存して、3D をバインドするための対応する特徴を取得しますが、明示的な深さの推定がないため、遠(yuǎn)くのオブジェクトについては不確実性が比較的大きくなり、収束するのが困難になります。主に BevFormer v2 2D バックボーンと 3D タスク シーン間のドメイン ギャップを解決します。一般に、2D 認(rèn)識タスクで事前トレーニングされたバックボーンは 3D シーンを検出する能力が不十分であり、長距離タスクの問題を調(diào)査しません。

Q: クエリの伝播と機(jī)能の伝播など、タイミングを改善できますか?
A: 理論的には実現(xiàn)可能ですが、実際のアプリケーションではパフォーマンスと効率のトレードオフを考慮する必要があります。

Q: 改善が必要な領(lǐng)域はありますか?
A: ロングテールの問題と長距離評価指標(biāo)は両方とも改善に値します。 Argoverse 2 のような 26 クラスのターゲットでは、モデルはロングテール クラスでうまく機(jī)能せず、最終的に平均精度が低下しますが、これについてはまだ調(diào)査されていません。一方で、統(tǒng)一された指標(biāo)を使用して遠(yuǎn)くの物體と近くの物體を評価することは適切ではない可能性があり、現(xiàn)実世界のさまざまなシナリオに適応できる実用的な動的な評価基準(zhǔn)の必要性が強(qiáng)調(diào)されています。

元のリンク: https://mp.weixin.qq.com/s/xxaaYQsjuWzMI7PnSmuaWg

以上がAAAI2024: Far3D - 150m まで直接到達(dá)する視覚的な 3D ターゲット検出の革新的なアイデアの詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。