End-to-End autonome Fahrsysteme: Die Zukunft antreiben

Wie definiert man ein End-to-End-autonomes Fahrsystem?

Die gebräuchlichste Definition ist, dass ein “End-to-End”-System ein System ist, das Rohsensordaten eingibt und direkt Variablen ausgibt, die für die Aufgabe relevant sind. Zum Beispiel kann bei der Bilderkennung ein CNN als “End-to-End” bezeichnet werden, im Vergleich zur traditionellen Methode aus Merkmalen + Klassifikator.

Bei autonomen Fahraufgaben werden Daten von verschiedenen Sensoren (wie Kameras, LiDAR, Radar oder IMU…) eingegeben, und Fahrzeugsteuerungssignale (wie Gas oder Lenkradwinkel) werden direkt ausgegeben. Um die Anpassungsprobleme verschiedener Fahrzeugmodelle zu berücksichtigen, kann die Ausgabe auch auf die Fahrspur des Fahrzeugs reduziert werden.

Auf dieser Grundlage sind auch modulare End-to-End-Konzepte entstanden, wie UniAD, die die Leistung durch die Einführung der Überwachung relevanter Zwischenaufgaben verbessern, zusätzlich zu den endgültigen Steuerungssignalen oder Wegpunkten. Aus einer so engen Definition sollte jedoch das Wesentliche von End-to-End die verlustfreie Übertragung sensorischer Informationen sein.

Lassen Sie uns zunächst die Schnittstellen zwischen Sensor- und PnC-Modulen in Nicht-End-to-End-Systemen überprüfen. Normalerweise erkennen wir whitelisted-Objekte (wie Autos, Menschen usw.) und analysieren und prognostizieren deren Eigenschaften. Wir lernen auch die statische Umgebung kennen (wie Straßenstruktur, Geschwindigkeitsbegrenzungen, Ampeln usw.). Wenn wir detaillierter wären, würden wir auch universelle Hindernisse erkennen. Kurz gesagt, die von diesen Wahrnehmungen ausgegebenen Informationen bilden ein Anzeigemodell komplexer Fahrszenen.

Für einige sehr offensichtliche Szenen kann die aktuelle explizite Abstraktion jedoch die Faktoren, die das Fahrverhalten in der Szene beeinflussen, nicht vollständig beschreiben, oder die Aufgaben, die wir definieren müssen, sind zu trivial, und es ist schwierig, alle erforderlichen Aufgaben aufzulisten. Daher bieten End-to-End-Systeme eine (vielleicht implizite) umfassende Darstellung mit der Hoffnung, mit diesen Informationen automatisch und verlustfrei auf PnCs zu wirken. Meiner Meinung nach können alle Systeme, die diese Anforderung erfüllen, als generalisierte End-to-End bezeichnet werden.

Was andere Probleme betrifft, wie einige Optimierungen dynamischer Interaktionsszenarien, glaube ich, dass mindestens nicht nur End-to-End diese Probleme lösen kann, und End-to-End ist möglicherweise nicht die beste Lösung. Traditionelle Methoden können diese Probleme lösen, und natürlich kann bei ausreichend großen Datenmengen End-to-End eine bessere Lösung bieten.

Einige Missverständnisse über autonomes Fahren mit End-to-End-Ansatz

1. Steuerungssignale und Wegpunkte müssen ausgegeben werden, um als End-to-End zu gelten.

Wenn Sie mit dem oben diskutierten breiten End-to-End-Konzept einverstanden sind, ist dieses Problem leicht verständlich. End-to-End sollte die verlustfreie Übertragung von Informationen betonen, anstatt direkt das Aufgabenvolumen auszugeben. Ein enger End-to-End-Ansatz wird viel unnötige Probleme verursachen und viele verdeckte Lösungen erfordern, um die Sicherheit zu gewährleisten.

2. Das End-to-End-System muss auf großen Modellen oder rein visuellen Ansätzen basieren.

Es besteht keine notwendige Verbindung zwischen autonomem Fahren mit End-to-End, großmodellbasiertem autonomen Fahren und rein visuellem autonomen Fahren, da sie völlig unabhängige Konzepte sind; ein End-to-End-System wird nicht notwendigerweise von großen Modellen angetrieben, noch wird es unbedingt durch reines Sehen gesteuert.

3. Ist es langfristig möglich, dass das oben erwähnte End-to-End-System im engen Sinne das autonome Fahren über L3 hinaus erreicht?

Die Leistung dessen, was derzeit als reines End-to-End-FSD bezeichnet wird, ist bei weitem nicht ausreichend, um die Zuverlässigkeit und Stabilität zu erfüllen, die auf L3-Niveau erforderlich sind. Um es klarer zu sagen: Wenn das System akzeptiert werden soll, ist es entscheidend, ob die Öffentlichkeit akzeptieren kann, dass das System in manchen Fällen Fehler macht, und Menschen diese leicht beheben können. Das ist für ein reines End-to-End-System schwieriger.

Zum Beispiel hatten sowohl Waymo als auch Cruise in Deutschland viele Unfälle. Der letzte Unfall von Cruise führte zu zwei Verletzungen, obwohl solche Unfälle für menschliche Fahrer ziemlich unvermeidlich und akzeptabel sind. Nach diesem Unfall wurde die Position des Unfalls und der Verletzten falsch eingeschätzt, und das System schaltete in den PULL-OVER-Modus, was dazu führte, dass die Verletzten lange gezogen wurden. Dieses Verhalten ist für jeden normalen menschlichen Fahrer inakzeptabel. Es wird nicht gemacht, und die Ergebnisse wären sehr schlecht.

Außerdem ist dies ein Weckruf, dass wir sorgfältig überlegen sollten, wie wir diese Situation während der Entwicklung und des Betriebs autonomer Fahrsysteme vermeiden können.

4. Welche praktischen Lösungen gibt es derzeit für die nächste Generation von serienmäßig assistierten Fahrsystemen?

Nach meinem aktuellen Verständnis wird bei Verwendung des sogenannten End-to-End-Modells beim Fahren nach der Ausgabe der Fahrspur eine Lösung auf Basis traditioneller Methoden zurückgegeben. Alternativ geben lernbasierte Planer und traditionelle Trajektorienplanungsalgorithmen mehrere Trajektorien gleichzeitig aus und wählen dann eine Trajektorie durch einen Selektor aus.

Diese Art von verdeckter Lösung und Auswahl begrenzt die Obergrenze der Leistung dieses Kaskadensystems, wenn diese Systemarchitektur übernommen wird. Wenn diese Methode weiterhin auf reinem Feedback-Lernen basiert, werden unvorhersehbare Fehler auftreten, und das Ziel der Sicherheit wird überhaupt nicht erreicht.

Wenn wir in Betracht ziehen, diese Ausgabekurve mit traditionellen Planungsmethoden neu zu optimieren oder auszuwählen, entspricht dies der von der lerngetriebenen Methode erzeugten Kurve; warum also optimieren und durchsuchen wir diese Kurve nicht direkt?

Natürlich würden einige Menschen sagen, dass ein solcher Optimierungs- oder Suchprozess nicht-konvex ist, einen großen Zustandsraum hat und unmöglich in Echtzeit auf einem Fahrzeug-System ausgeführt werden kann. Ich bitte alle, diese Frage sorgfältig zu bedenken: In den letzten zehn Jahren hat das Wahrnehmungssystem mindestens das Hundertfache an Rechenleistung erhalten, aber was ist mit unserem PnC-Modul?

Wenn wir dem PnC-Modul ebenfalls erlauben, große Rechenleistung zu nutzen, kombiniert mit einigen Fortschritten bei fortgeschrittenen Optimierungsalgorithmen in den letzten Jahren, ist diese Schlussfolgerung dann noch korrekt? Für diese Art von Problem sollten wir überlegen, was richtig ist, basierend auf ersten Prinzipien.

5.Wie kann man die Beziehung zwischen datengetriebenen und traditionellen Methoden versöhnen?

Schachspielen ist ein Beispiel, das sehr ähnlich zum autonomen Fahren ist. Im Februar dieses Jahres veröffentlichte Deepmind einen Artikel mit dem Titel “Grandmaster-Level Chess Without Search”, der diskutiert, ob es machbar ist, nur datengetrieben zu verwenden und MCTS-Suche in AlphaGo und AlphaZero aufzugeben. Ähnlich wie beim autonomen Fahren wird nur ein Netzwerk verwendet, um direkt Aktionen auszugeben, während alle nachfolgenden Schritte ignoriert werden.

Der Artikel kommt zu dem Schluss, dass trotz erheblicher Datenmengen und Modellparameter ziemlich vernünftige Ergebnisse ohne die Verwendung einer Suche erzielt werden können. Es gibt jedoch bedeutende Unterschiede im Vergleich zu Methoden, die Suche verwenden. Dies ist besonders nützlich bei der Bewältigung einiger komplexer Endspiele.

Für komplexe Szenarien oder Grenzfälle, die Mehrschrittspiele erfordern, macht diese Analogie es dennoch schwierig, traditionelle Optimierungs- oder Suchalgorithmen vollständig aufzugeben. Die vernünftige Nutzung der Vorteile verschiedener Technologien wie AlphaZero ist der beste Weg, um die Leistung zu verbessern.

6.Traditionelle Methode = regelbasiert mit if-else?

Ich musste dieses Konzept immer wieder korrigieren, während ich mit vielen Menschen sprach. Viele glauben, dass alles, was nicht rein datengetrieben ist, nicht regelbasiert ist. Zum Beispiel ist beim Schach das Auswendiglernen von Formeln und Schachaufzeichnungen nach Auswendiglernen regelbasiert, aber wie bei AlphaGo und AlphaZero gibt es dem Modell durch Optimierung und Suche die Fähigkeit, rational zu sein. Ich denke nicht, dass es regelbasiert genannt werden kann.

Aus diesem Grund fehlt derzeit das große Modell selbst, und Forscher versuchen, ein lerngetriebenes Modell durch Methoden wie CoT bereitzustellen. Im Gegensatz zu Aufgaben, die reine datengetriebene Bilderkennung und unerklärliche Gründe erfordern, hat jede Aktion eines Fahrers eine klare Antriebskraft.

Unter der geeigneten Algorithmusarchitektur sollte die Entscheidungsbahn variabel werden und unter Anleitung wissenschaftlicher Ziele einheitlich optimiert werden, anstatt Parameter gewaltsam zu patchen und anzupassen, um verschiedene Fälle zu beheben. Ein solches System hat natürlich keine allerlei hartkodierte, seltsame Regeln.

Fazit

Kurz gesagt, End-to-End könnte ein vielversprechender technischer Ansatz sein, aber wie das Konzept angewendet wird, erfordert mehr Forschung. Ich denke, eine Menge Daten und Modellparameter sind nicht die einzige richtige Lösung, und wenn wir andere übertreffen wollen, müssen wir weiter hart arbeiten.