Betrachtungswinkelabweichungsdefinition

Um das unbekannte L=[x,y,z] des Objekts zu erkennen, bestehen die meisten BEV-Erkennungen aus zwei Schlüsselteilen: (1) Erhalten Sie Bildmerkmale aus verschiedenen Betrachtungswinkeln; 2) Fusion dieser Bilder. Merkmale werden in den BEV-Raum übertragen und das endgültige Vorhersageergebnis wird erhalten:

Die obige Formel beschreibt, dass die Dom?nenabweichung aus der Phase der Merkmalsextraktion oder der Phase der BEV-Fusion stammen kann. Dann wurde dieser Artikel im Anhang vorangetrieben und die Betrachtungswinkelabweichung des endgültigen 3D-Vorhersageergebnisses projiziert auf das 2D-Ergebnis wie folgt erhalten:

wobei k_u, b_u, k_v und b_v mit dem Dom?nenoffset des BEV-Encoders zusammenh?ngen, d (u, v) ist die endgültige vorhergesagte Tiefeninformation des Modells. c_u und c_v stellen die Koordinaten des optischen Zentrums der Kamera auf der UV-Bildebene dar. Die obige Gleichung liefert mehrere wichtige Folgerungen: (1) Das Vorhandensein eines endgültigen Positionsversatzes führt zu einer perspektivischen Verzerrung, was zeigt, dass die Optimierung der perspektivischen Verzerrung dazu beitragen kann, den Dom?nenversatz zu verringern. (2) Sogar die Position des Punktes auf dem optischen Mittelstrahl der Kamera in der Einzelansicht-Bildebene verschiebt sich.

Intuitiv ?ndert die Dom?nenverschiebung die Position von BEV-Features, was auf eine überanpassung aufgrund begrenzter Trainingsdaten-Ansichtspunkte und Kameraparameter zurückzuführen ist. Um dieses Problem zu l?sen, ist es wichtig, neue Ansichtsbilder von BEV-Funktionen erneut zu rendern, damit das Netzwerk ansichts- und umgebungsunabh?ngige Funktionen lernen kann. Vor diesem Hintergrund zielt diese Forschung darauf ab, die perspektivische Abweichung im Zusammenhang mit verschiedenen Rendering-Standpunkten zu l?sen, um die Generalisierungsf?higkeit des Modells zu verbessern. Detaillierte Erl?uterung des PD-BEV-Algorithmus. PD-BEV ist in drei Teile unterteilt: Semantik Rendering, Quelldom?nenentfernungs-Bias und Zieldom?nen-Debiasing sind in Abbildung 1 dargestellt. Semantisches Rendering erl?utert, wie durch BEV-Funktionen die perspektivische Beziehung zwischen 2D und 3D hergestellt wird. Beim Debiasing der Quelldom?ne wird beschrieben, wie die F?higkeiten zur Modellgeneralisierung durch semantisches Rendering in der Quelldom?ne verbessert werden k?nnen. Zieldom?nen-Debiasing beschreibt die Verwendung unbeschrifteter Daten in der Zieldom?ne, um die F?higkeiten zur Modellgeneralisierung durch semantisches Rendering zu verbessern.

Semantisches Rendering

Da viele Algorithmen das BEV-Volumen in zweidimensionale Merkmale komprimieren, verwenden wir zun?chst den BEV-Decoder, um die BEV-Merkmale in ein Volumen umzuwandeln:

Die obige Formel ist eigentlich die BEV-Ebene Zur Verbesserung wurde eine H?henbema?ung hinzugefügt. Dann k?nnen die internen und externen Parameter der Kamera in diesem Volumen abgetastet werden, um eine 2D-Feature-Map zu erstellen, und dann werden die 2D-Feature-Map und die internen und externen Parameter der Kamera an ein RenderNet gesendet, um die Heatmap und die Objekteigenschaften vorherzusagen die entsprechende Perspektive. Durch solche Operationen ?hnlich wie bei Nerf kann eine Brücke zwischen 2D und 3D geschlagen werden.

Um die Generalisierungsleistung des Modells zu verbessern, müssen in der Quelldom?ne mehrere wichtige Punkte verbessert werden. Erstens k?nnen die Heatmap und die Eigenschaften der neuen gerenderten Ansicht mithilfe der 3D-Box der Quelldom?ne überwacht werden, um perspektivische Verzerrungen zu reduzieren. Zweitens k?nnen normalisierte Tiefeninformationen verwendet werden, um Bildkodierern dabei zu helfen, geometrische Informationen besser zu lernen. Diese Verbesserungen werden dazu beitragen, die Generalisierungsleistung des Modells zu verbessern.

Perspektivische semantische überwachung: Basierend auf semantischem Rendering werden Heatmaps und Attribute aus verschiedenen Perspektiven gerendert (Ausgabe von RenderNet). Gleichzeitig werden die internen und externen Parameter einer Kamera zuf?llig abgetastet und der Objektkasten anhand dieser internen und externen Parameter aus den 3D-Koordinaten in die zweidimensionale Kameraebene projiziert. Verwenden Sie dann Fokusverlust und L1-Verlust, um die projizierte 2D-Box und die Renderergebnisse einzuschr?nken:

Durch diesen Vorgang kann die überanpassung interner und externer Parameter der Kamera reduziert und die Robustheit gegenüber neuen Perspektiven verbessert werden. Es ist erw?hnenswert, dass in diesem Artikel das überwachte Lernen von RGB-Bildern in W?rmekarten von Objektzentren umgewandelt wird, um die M?ngel des Mangels an neuer perspektivischer RGB-überwachung im Bereich des unbemannten Fahrens zu vermeiden.

Geometrische überwachung: Die Bereitstellung expliziter Tiefeninformationen kann effektiv sein Verbessern Sie die Leistung der 3D-Objekterkennung mit mehreren Kameras. Die Tiefe der Netzwerkvorhersagen tendiert jedoch dazu, die intrinsischen Parameter zu stark anzupassen. Daher basiert dieser Artikel auf einem virtuellen Tiefenansatz:

wobei BCE() den bin?ren Kreuzentropieverlust darstellt und D_{pre} die vorhergesagte Tiefe von DepthNet darstellt. f_u und f_v sind die u- bzw. v-Brennweiten der Bildebene, und U ist eine Konstante. Es ist erw?hnenswert, dass es sich bei der Tiefe hier um die Tiefeninformationen im Vordergrund handelt, die durch die Verwendung von 3D-Boxen anstelle von Punktwolken bereitgestellt werden. Auf diese Weise konzentriert sich DepthNet eher auf die Tiefe von Vordergrundobjekten. Schlie?lich wird die virtuelle Tiefe wieder in die tats?chliche Tiefe umgewandelt, wenn die semantischen Merkmale mithilfe der tats?chlichen Tiefeninformationen auf die BEV-Ebene angehoben werden.

Debiasing der Zieldom?ne

In der Zieldom?ne gibt es keine Beschriftung, daher kann die 3D-Box-überwachung nicht zur Verbesserung der Generalisierungsf?higkeit des Modells verwendet werden. In diesem Artikel wird daher erl?utert, dass 2D-Erkennungsergebnisse robuster sind als 3D-Ergebnisse. Daher verwendet dieser Artikel vorab trainierte 2D-Detektoren im Quellbereich zur überwachung der gerenderten Perspektive und verwendet au?erdem den Pseudo-Label-Mechanismus:

Dieser Vorgang kann die genaue 2D-Erkennung effektiv nutzen, um die Vordergrundzielposition im BEV-Raum zu korrigieren, was eine unbeaufsichtigte Regularisierung der Zieldom?ne darstellt. Um die Korrekturf?higkeit der 2D-Vorhersage weiter zu verbessern, wird eine Pseudomethode verwendet, um die Zuverl?ssigkeit der vorhergesagten W?rmekarte zu erh?hen. Dieses Papier liefert mathematische Beweise in 3.2 und erg?nzende Materialien, um die Ursache von 2D-Projektionsfehlern in 3D-Ergebnissen zu erkl?ren. Es wird auch erkl?rt, warum Voreingenommenheit auf diese Weise beseitigt werden kann. Einzelheiten finden Sie im Originalpapier.

Gesamtaufsicht

Obwohl in diesem Artikel einige Netzwerke hinzugefügt wurden, um das Training zu erleichtern, sind diese Netzwerke w?hrend der Inferenz nicht erforderlich. Mit anderen Worten, unsere Methode ist auf Situationen anwendbar, in denen die meisten BEV-Erkennungsmethoden perspektivinvariante Merkmale lernen. Um die Wirksamkeit unseres Frameworks zu testen, verwenden wir BEVDepth zur Bewertung. Der ursprüngliche Verlust von BEVDepth wird in der Quelldom?ne als Hauptüberwachung für die 3D-Erkennung verwendet. Zusammenfassend ist der endgültige Verlust des Algorithmus:

Dom?nenübergreifende experimentelle Ergebnisse

Tabelle 1 zeigt den Vergleich der Auswirkungen verschiedener Methoden unter den Protokollen Dom?nengeneralisierung (DG) und unbeaufsichtigte Dom?nenanpassung (UDA). Unter diesen repr?sentiert Target-Free das DG-Protokoll, und Pseudo Label, Coral und AD sind einige g?ngige UDA-Methoden. Wie aus der Grafik ersichtlich ist, erzielen diese Methoden allesamt deutliche Verbesserungen im Zielbereich. Dies legt nahe, dass semantisches Rendering als Brücke dient, um das Erlernen perspektivinvarianter Merkmale gegenüber Dom?nenverschiebungen zu unterstützen. Darüber hinaus beeintr?chtigen diese Methoden nicht die Leistung der Quelldom?ne und bieten in den meisten F?llen sogar einige Verbesserungen. Es sollte insbesondere erw?hnt werden, dass DeepAccident auf der Grundlage der virtuellen Carla-Engine entwickelt wurde. Nach dem Training mit DeepAccident hat der Algorithmus zufriedenstellende Generalisierungsf?higkeiten erreicht. Darüber hinaus wurden andere BEV-Erkennungsmethoden getestet, deren Generalisierungsleistung jedoch ohne spezielles Design sehr schlecht ist. Um die F?higkeit zur Nutzung unbeaufsichtigter Datens?tze in der Zieldom?ne weiter zu überprüfen, wurde au?erdem ein UDA-Benchmark erstellt und UDA-Methoden (einschlie?lich Pseudo Label, Coral und AD) auf DG-BEV angewendet. Experimente zeigen, dass diese Methoden erhebliche Leistungsverbesserungen mit sich bringen. Beim impliziten Rendering werden 2D-Detektoren mit besserer Generalisierungsleistung voll ausgenutzt, um die falschen geometrischen Informationen von 3D-Detektoren zu korrigieren. Darüber hinaus wurde festgestellt, dass die meisten Algorithmen dazu neigen, die Leistung der Quelldom?ne zu beeintr?chtigen, w?hrend unsere Methode relativ mild ist. Es ist erw?hnenswert, dass AD und Coral beim übergang von virtuellen zu realen Datens?tzen deutliche Verbesserungen zeigen, in realen Tests jedoch Leistungseinbu?en zeigen. Dies liegt daran, dass diese beiden Algorithmen für die Verarbeitung von Stil?nderungen konzipiert sind, in Szenen mit kleinen Stil?nderungen jedoch m?glicherweise semantische Informationen zerst?ren. Der Pseudo-Label-Algorithmus kann die Generalisierungsleistung des Modells verbessern, indem er das Vertrauen in einige relativ gute Zieldom?nen erh?ht. Eine blinde Erh?hung des Vertrauens in die Zieldom?ne führt jedoch tats?chlich zu einer Verschlechterung des Modells. Die experimentellen Ergebnisse beweisen, dass dieser Algorithmus eine signifikante Leistungsverbesserung in DG und UDA erzielt hat. Die experimentellen Ergebnisse der Ablation für drei Schlüsselkomponenten sind in Tabelle 2 dargestellt: 2D-Detektor-Pre-Training (DPT), Source Domain Removal Biasing (SDB) und Target Domain Debiasing (TDB). Die experimentellen Ergebnisse zeigen, dass jede Komponente verbessert wurde, wobei SDB und TDB relativ signifikante Auswirkungen zeigen

Tabelle 3 zeigt, dass der Algorithmus auf die Algorithmen BEVFormer und FB-OCC migriert werden kann. Da dieser Algorithmus nur zus?tzliche Operationen an Bildfunktionen und BEV-Funktionen erfordert, kann er Algorithmen mit BEV-Funktionen verbessern.

Abbildung 5 zeigt die erkannten unbeschrifteten Objekte. Die erste Zeile ist das 3D-Feld des Etiketts und die zweite Zeile ist das Erkennungsergebnis des Algorithmus. Blaue K?stchen zeigen an, dass der Algorithmus einige unbeschriftete K?stchen erkennen kann. Dies zeigt, dass die Methode sogar unbeschriftete Proben im Zielbereich erkennen kann, beispielsweise zu weit entfernte Fahrzeuge oder in Geb?uden auf beiden Stra?enseiten.

Zusammenfassung

In diesem Artikel wird ein universelles 3D-Objekterkennungsframework mit mehreren Kameras vorgeschlagen, das auf perspektivischer Depolarisation basiert und das Objekterkennungsproblem in unbekannten Feldern l?sen kann. Das Framework erreicht eine konsistente und genaue Erkennung, indem es 3D-Erkennungsergebnisse auf eine 2D-Kameraebene projiziert und perspektivische Verzerrungen korrigiert. Darüber hinaus führt das Framework auch eine Strategie zur Perspektivdebiasierung ein, um die Robustheit des Modells durch die Darstellung von Bildern aus verschiedenen Perspektiven zu verbessern. Experimentelle Ergebnisse zeigen, dass diese Methode erhebliche Leistungsverbesserungen bei der Dom?nengeneralisierung und der unbeaufsichtigten Dom?nenanpassung erzielt. Darüber hinaus kann diese Methode auch an virtuellen Datens?tzen trainiert werden, ohne dass eine Anmerkung zu realen Szenen erforderlich ist, was Komfort für Echtzeitanwendungen und den Einsatz in gro?em Ma?stab bietet. Diese Highlights veranschaulichen die Herausforderungen und das Potenzial der Methode bei der L?sung der 3D-Objekterkennung mit mehreren Kameras. In diesem Artikel wird versucht, die Ideen von Nerf zu nutzen, um die Generalisierungsf?higkeit von BEV zu verbessern, und es k?nnen auch gekennzeichnete Quelldom?nendaten und unbeschriftete Zieldom?nendaten verwendet werden. Darüber hinaus wurde das experimentelle Paradigma von Sim2Real ausprobiert, das potenziellen Wert für das autonome Fahren im geschlossenen Regelkreis hat. Sowohl qualitativ als auch quantitativ gibt es gute Ergebnisse, und der Open-Source-Code ist einen Blick wert

Originallink: https://mp.weixin.qq.com/s/GRLu_JW6qZ_nQ9sLiE0p2g