Tiefe Integration von Vision und Roboterlernen.

Wenn zwei Roboterh?nde reibungslos zusammenarbeiten, um Kleidung zu falten, Tee einzuschenken und Schuhe zu verpacken, plus der 1X humanoide Roboter NEO, der in letzter Zeit für Schlagzeilen gesorgt hat, dann ist das vielleicht der Fall ein Gefühl, dass wir beginnen, in das Zeitalter der Roboter einzutreten.

Tats?chlich sind diese seidigen Bewegungen das Produkt fortschrittlicher Robotertechnologie + exquisitem Rahmendesign + multimodaler gro?er Modelle.

Wir wissen, dass nützliche Roboter oft komplexe und exquisite Interaktionen mit der Umgebung erfordern und die Umgebung als Einschr?nkungen im r?umlichen und zeitlichen Bereich ausgedrückt werden kann.

Wenn Sie beispielsweise m?chten, dass ein Roboter Tee einschenkt, muss der Roboter zuerst den Griff der Teekanne ergreifen und sie aufrecht halten, ohne den Tee zu verschütten, und sie dann sanft bewegen, bis die ?ffnung der Kanne geschlossen ist Richten Sie es dann auf die ?ffnung der Tasse aus. Zu den Einschr?nkungen z?hlen hier nicht nur Zwischenziele (z. B. die Ausrichtung der Kannenmündung auf die Tassenmündung), sondern auch übergangszust?nde (z. B. das Aufrechthalten der Teekanne). Zusammen bestimmen sie die r?umlichen, zeitlichen und anderen Kombinationsanforderungen von die Aktionen des Roboters relativ zur Umgebung.

Die reale Welt ist jedoch komplex und die Konstruktion dieser Einschr?nkungen ist ein sehr anspruchsvolles Problem.

Vor kurzem hat das Team von Li Feifei einen Durchbruch in dieser Forschungsrichtung erzielt und ReKep/Relational Keypoint Constraints vorgeschlagen. Vereinfacht ausgedrückt stellt diese Methode die Aufgabe als eine Folge von Beziehungsschlüsselpunkten dar. Darüber hinaus l?sst sich dieses Framework auch gut in gro?e multimodale Modelle wie GPT-4o integrieren. Dem Demonstrationsvideo zufolge funktioniert diese Methode recht gut. Das Team hat auch relevanten Code ver?ffentlicht. Dieser Artikel wurde von Wenlong Huang geschrieben.

• Papiertitel: ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation

• Papier Adresse: https://rekep-robot.github.io/rekep.pdf

• Projektwebsite: https://rekep-robot.github.io

• Codeadresse: https://github.com/huangwl18/ReKep

Li Feifei sagte, dass diese Arbeit eine tiefere Integration von Vision und Roboterlernen demonstriert! Obwohl World Labs, ein von Li Feifei Anfang 5 dieses Jahres gegründetes KI-Unternehmen mit Schwerpunkt auf r?umlicher Intelligenz, in dem Papier nicht erw?hnt wird, verfügt ReKep eindeutig über gro?es Potenzial im Bereich r?umlicher Intelligenz.

Methode

Beziehungsschlüsselpunktbeschr?nkung (ReKep)

Schauen wir uns zun?chst eine ReKep-Instanz an. Hierbei wird davon ausgegangen, dass eine Menge von K Schlüsselpunkten angegeben wurde. Konkret ist jeder Schlüsselpunkt k_i ∈ ?^3 ein 3D-Punkt auf der Szenenoberfl?che mit kartesischen Koordinaten.

Eine ReKep-Instanz ist eine Funktion wie diese: ?: ?^{K×3}→?; sie kann eine Reihe von Schlüsselpunkten (bezeichnet als ?) in unbegrenzte Kosten abbilden, wenn ?(?) ≤ 0, die Einschr?nkung ist erfüllt. Was die konkrete Implementierung betrifft, so hat das Team die Funktion ? als zustandslose Python-Funktion implementiert, die NumPy-Operationen an Schlüsselpunkten enth?lt, die m?glicherweise nichtlinear und nicht konvex sind. Im Wesentlichen kodiert eine ReKep-Instanz eine gewünschte r?umliche Beziehung zwischen Schlüsselpunkten.

Eine Operationsaufgabe umfasst jedoch in der Regel mehrere r?umliche Beziehungen und kann mehrere zeitliche Phasen haben, die jeweils unterschiedliche r?umliche Beziehungen erfordern. Zu diesem Zweck besteht der Ansatz des Teams darin, eine Aufgabe in N Phasen zu zerlegen und mithilfe von ReKep zwei Arten von Einschr?nkungen für jede Phase i ∈ {1, ..., N} anzugeben:

• Eine Reihe von Unterzielbeschr?nkungen

• Eine Reihe von Pfadbeschr?nkungen

wobei eine Schlüsselpunktbeziehung kodiert, die am Ende der Stufe i erreicht werden soll, und eine Schlüsselpunktbeziehung kodiert, die für jeden Zustand innerhalb der Stufe i erfüllt werden muss. Nehmen Sie als Beispiel die Teeeinschenkaufgabe in Abbildung 2, die aus drei Phasen besteht: Tee greifen, ausrichten und einschenken.

Die Teilzielbeschr?nkung der Phase 1 besteht darin, den Endeffektor in Richtung des Teekannengriffs zu erreichen. Die Unterzielbeschr?nkung der Stufe 2 besteht darin, die Mündung der Teekanne über der Mündung der Tasse zu halten. Darüber hinaus besteht die Wegbeschr?nkung der Stufe 2 darin, die Teekanne aufrecht zu halten, um ein Verschütten des Tees zu vermeiden. Die letzte Teilzielbeschr?nkung der Stufe 3 besteht darin, den angegebenen Teeausgie?winkel zu erreichen.

Verwenden Sie ReKep, um die Betriebsaufgabe als eingeschr?nktes Optimierungsproblem zu definieren.

Verwenden Sie ReKep, um die Roboterbetriebsaufgabe in ein eingeschr?nktes Optimierungsproblem mit Unterzielen und Pfaden umzuwandeln. Die Endeffektorhaltung wird hier als ? ∈ SE (3) bezeichnet. Um die Operationsaufgabe auszuführen, besteht das Ziel hier darin, die gesamte zeitdiskrete Trajektorie zu erhalten?_{1:T}:

Das hei?t, für jede Stufe i Das Optimierungsziel des Problems besteht darin, bei einem gegebenen Satz von ReKep-Einschr?nkungen und Hilfskosten eine Endeffektor-Pose als n?chstes Unterziel (und die zugeh?rige Zeit) sowie die Posensequenz zu finden, mit der dieses Unterziel erreicht wird. Diese Formel kann als direktes Schie?en bei der Flugbahnoptimierung betrachtet werden.

Zerlegung und Algorithmusinstanziierung

Um die obige Formel 1 in Echtzeit zu l?sen, entschied sich das Team dafür, das Gesamtproblem zu zerlegen und sich nur auf die n?chsten Teilprobleme zu konzentrieren. Ziel und Erreichen des entsprechenden Pfades des Unterziels wird optimiert. Algorithmus 1 gibt den Pseudocode dieses Prozesses an.

Die L?sungsformel für das Unterzielproblem lautet:

Die L?sungsformel für das Pfadproblem lautet:

Backtracking

Die reale Umgebung ist komplex und ver?nderlich. Manchmal gelten w?hrend der Aufgabe die Teilzielbeschr?nkungen der vorherigen Phase nicht mehr (z (z. B. wenn die Teetasse eingegossen wird) weggenommen wird), müssen Sie diesmal umplanen. Der Ansatz des Teams besteht darin, den Pfad auf Probleme zu überprüfen. Wenn Probleme gefunden werden, kehren Sie iterativ zur vorherigen Stufe zurück.

Vorw?rtsmodell der Schlüsselpunkte

Um die Gleichungen 2 und 3 zu l?sen, verwendete das Team ein Vorw?rtsmodell h, das bei der Optimierung verwendet werden kann Prozesssch?tzung Δ? basierend auf Δ?. Insbesondere wird bei einer ?nderung der Endeffektorhaltung Δ? die ?nderung der Schlüsselpunktposition durch Anwendung derselben relativen Steifigkeitstransformation ?′[begriffen] = T_{Δ?}??[begriffen] unter Annahme eines anderen Schlüssels berechnet Der Punkt bleibt bestehen.

Schlüsselpunktvorschlag und ReKep-Generierung

Um dem System die freie Ausführung verschiedener Aufgaben in realen Situationen zu erm?glichen, verwendete das Team auch gro?e Modelle! Konkret entwarfen sie eine Pipeline unter Verwendung gro?er visueller Modelle und visuell-linguistischer Modelle, um Schlüsselpunktvorschl?ge und die ReKep-Generierung zu implementieren.

Kernpunktvorschlag

Anhand eines RGB-Bildes wird DINOv2 zun?chst zum Extrahieren der Patch-Level-Funktionen F_patch verwendet. Anschlie?end wird eine bilineare Interpolation durchgeführt, um die Merkmale auf die ursprüngliche Bildgr??e F_interp hochzurechnen. Um sicherzustellen, dass die Vorschl?ge alle relevanten Objekte in der Szene abdecken, verwendeten sie Segment Anything (SAM), um alle Masken M = {m_1, m_2, ..., m_n} in der Szene zu extrahieren.

Gruppieren Sie für jede Maske j die Maskenmerkmale F_interp[m_j] unter Verwendung von k-Mitteln (k = 5) und dem Kosinus-?hnlichkeitsma?. Die Schwerpunkte der Cluster werden als m?gliche Schlüsselpunkte verwendet, die dann mit einer kalibrierten RGB-D-Kamera auf Weltkoordinaten ?^3 projiziert werden. Andere Kandidaten im Umkreis von 8 cm um den Kandidaten-Schlüsselpunkt werden herausgefiltert. Insgesamt stellte das Team fest, dass dieser Prozess eine gro?e Anzahl feink?rniger und semantisch bedeutsamer Objektbereiche identifizieren kann.

ReKep-Generierung

Nachdem die Schlüsselpunkte der Kandidaten ermittelt wurden, werden diese dem ursprünglichen RGB-Bild überlagert und mit Zahlen beschriftet. In Kombination mit den Sprachanweisungen der spezifischen Aufgabe wird GPT-4o dann abgefragt, um die Anzahl der erforderlichen Stufen und die Unterzielbeschr?nkungen und Pfadbeschr?nkungen für jede Stufe i zu generieren.

Experiment

Das Team überprüfte das Constraint-Design durch Experimente und versuchte, die folgenden drei Fragen zu beantworten:

1. Wie gut funktioniert das Framework? Verhalten sich automatisierte Build- und Kompositionsvorg?nge?

2. Wie gut l?sst sich das System auf neue Objekte und Manipulationsstrategien verallgemeinern?

3. Wie k?nnen verschiedene Komponenten zum Systemausfall beitragen?

Mit ReKep zwei Roboterarme bedienen

Sie untersuchten das System anhand einer Reihe von Aufgaben für mehrstufige (m), Feld-/Praxisszenarien (w), Zweihandverhalten (b) und Reaktionsverhalten (r). Zu diesen Aufgaben geh?ren das Einschenken von Tee (m, w, r), das Ordnen von Büchern (w), das Recycling von Dosen (w), das Zukleben von Kartons (w, r), das Falten von W?sche (b), das Einpacken von Schuhen (b) und das gemeinsame Falten (b, R).

Die Ergebnisse sind in Tabelle 1 aufgeführt, in der Daten zur Erfolgsquote aufgeführt sind.

Insgesamt ist das neu vorgeschlagene System in der Lage, die richtigen Einschr?nkungen zu konstruieren und in einer unstrukturierten Umgebung auszuführen, selbst wenn aufgabenspezifische Daten oder Umgebungsmodelle nicht bereitgestellt werden. Insbesondere bew?ltigt ReKep effektiv das Kernr?tsel jeder Aufgabe.

Hier einige Animationen des tats?chlichen Ausführungsprozesses:

Verallgemeinerung der Operationsstrategie

Das Team untersuchte die Generalisierungsleistung der neuen Strategie anhand der W?schefaltaufgabe. Kurz gesagt geht es darum, herauszufinden, ob das System verschiedene Arten von Kleidung falten kann – was Geometrie und gesunden Menschenverstand erfordert.

Hier wird GPT-4o verwendet und die Eingabeaufforderung enth?lt nur allgemeine Anweisungen ohne Kontextbeispiele. ?Strategieerfolg“ bedeutet, dass das generierte ReKep machbar ist, und ?Ausführungserfolg“ misst die Systemerfolgsrate einer gegebenen machbaren Strategie für jede Art von Kleidung.

Die Ergebnisse sind interessant. Es ist ersichtlich, dass das System unterschiedliche Strategien für unterschiedliche Kleidungsstücke verwendet und einige der Methoden zum Falten von Kleidungsstücken mit denen übereinstimmen, die üblicherweise von Menschen verwendet werden.

Systemfehler analysieren

Der Aufbau des Frameworks ist modular und daher einfach zu bedienen Praktisch zur Analyse von Systemfehlern. Das Team untersuchte manuell die in den Experimenten in Tabelle 1 aufgetretenen Fehlerf?lle und berechnete auf dieser Grundlage die Wahrscheinlichkeit, dass die Module den Fehler verursachten, unter Berücksichtigung ihrer zeitlichen Abh?ngigkeiten im Pipeline-Prozess. Die Ergebnisse sind in Abbildung 5 dargestellt.

Es ist ersichtlich, dass der Schlüsselpunkt-Tracker unter den verschiedenen Modulen die meisten Fehler verursacht, da h?ufige und zeitweilige Verdeckungen es dem System erschweren, genau zu verfolgen.

Das obige ist der detaillierte Inhalt vonDas Team von Li Feifei schlug ReKep vor, um Robotern r?umliche Intelligenz zu verleihen und GPT-4o zu integrieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!