Systèmes de conduite autonome de bout en bout : Conduire le futur

Comment définir un système de conduite autonome de bout en bout ?

La définition la plus courante est qu’un système « de bout en bout » est un système qui prend en entrée des informations brutes de capteurs et produit directement des variables d’intérêt pour la tâche. Par exemple, en reconnaissance d’image, un CNN peut être appelé « de bout en bout » par comparaison avec la méthode traditionnelle de caractéristiques + classificateur.

Dans les tâches de conduite autonome, les données de divers capteurs (tels que caméras, LiDAR, Radar ou IMU…) sont entrées, et les signaux de contrôle du véhicule (tels que l’accélérateur ou l’angle du volant) sont directement sortis. Pour prendre en compte les problèmes d’adaptation à différents modèles de véhicules, la sortie peut également être relâchée pour représenter la trajectoire de conduite du véhicule.

Sur cette base, des concepts modulaires de bout en bout ont également émergé, tels que UniAD, qui améliorent la performance en introduisant une supervision des tâches intermédiaires pertinentes, en plus des signaux de contrôle ou des points de passage finaux. Cependant, d’une définition aussi étroite, l’essence du bout en bout devrait être la transmission sans perte d’informations sensorielles.

Examinons d’abord les interfaces entre la détection et les modules PnC dans les systèmes non de bout en bout. Habituellement, nous détectons des objets en liste blanche (tels que voitures, personnes, etc.) et analysons et prédisons leurs propriétés. Nous apprenons également sur l’environnement statique (tels que la structure de la route, les limites de vitesse, les feux de circulation, etc.). Si nous étions plus détaillés, nous détecterions aussi des obstacles universels. En résumé, les informations produites par ces perceptions constituent un modèle d’affichage de scènes de conduite complexes.

Cependant, pour certaines scènes très évidentes, l’abstraction explicite actuelle ne peut pas décrire pleinement les facteurs qui influencent le comportement de conduite dans la scène, ou les tâches que nous devons définir sont trop triviales, et il est difficile d’énumérer toutes les tâches requises. Par conséquent, les systèmes de bout en bout offrent une représentation (peut-être implicitement) complète dans l’espoir d’agir automatiquement et sans perte sur les PnC avec cette information. À mon avis, tous les systèmes pouvant répondre à cette exigence peuvent être appelés end-to-end généralisé.

Quant à d’autres questions, comme certaines optimisations des scénarios d’interaction dynamique, je crois qu’au moins, seul le bout en bout ne peut pas résoudre ces problèmes, et le bout en bout n’est peut-être pas la meilleure solution. Les méthodes traditionnelles peuvent résoudre ces problèmes, et bien sûr, lorsque la quantité de données est suffisamment grande, le bout en bout peut offrir une meilleure solution.

Quelques malentendus sur la conduite autonome de bout en bout

1. Les signaux de contrôle et les points de passage doivent être produits pour que ce soit de bout en bout.

Si vous adhérez au concept large de bout en bout discuté ci-dessus, ce problème est facile à comprendre. Le bout en bout doit souligner la transmission sans perte d’informations plutôt que la sortie directe du volume de tâche. Une approche étroite de bout en bout entraînera beaucoup de complications inutiles et nécessitera de nombreuses solutions cachées pour assurer la sécurité.

2. Le système de bout en bout doit être basé sur de grands modèles ou une vision pure.

Il n’y a pas de lien nécessaire entre la conduite autonome de bout en bout, la conduite autonome basée sur de grands modèles, et la conduite autonome purement visuelle, car ce sont des concepts complètement indépendants ; un système de bout en bout n’est pas nécessairement piloté par de grands modèles, ni par une vision pure.

3. À long terme, est-il possible que le système de bout en bout mentionné ci-dessus, dans un sens étroit, atteigne une conduite autonome au-dessus du niveau L3 ?

Les performances de ce qui est actuellement appelé FSD de bout en bout pur sont loin d’être suffisantes pour répondre à la fiabilité et à la stabilité requises au niveau L3. Pour le dire plus franchement, si le système de conduite autonome veut être accepté par le public, la clé est de savoir si le public peut accepter que, dans certains cas, la machine fasse des erreurs, et que les humains puissent les corriger facilement. Cela est plus difficile pour un système de bout en bout pur.

Par exemple, tant Waymo que Cruise en France ont eu de nombreux accidents. Cependant, le dernier accident de Cruise a entraîné deux blessures, bien que de tels accidents soient assez inévitables et acceptables pour les conducteurs humains. Cependant, après cet accident, le système a mal jugé la localisation de l’accident et celle des blessés, et est passé en mode arrêt, ce qui a causé la traînée prolongée des blessés. Ce comportement est inacceptable pour tout conducteur humain normal. Il ne sera pas toléré, et les résultats seront très mauvais.

De plus, cela doit nous réveiller et nous faire réfléchir attentivement à la manière d’éviter cette situation lors du développement et de l’exploitation des systèmes de conduite autonome.

4. Alors, à ce moment précis, quelles sont les solutions pratiques pour la prochaine génération de systèmes d’aide à la conduite de masse ?

Selon ma compréhension actuelle, lors de l’utilisation du soi-disant modèle de bout en bout en conduite, après avoir produit la trajectoire, il renverra une solution basée sur des méthodes traditionnelles. Alternativement, des planificateurs basés sur l’apprentissage et des algorithmes de planification de trajectoire traditionnels produisent plusieurs trajectoires simultanément, puis en sélectionnent une via un sélecteur.

Ce type de solution cachée et de choix limite le plafond de performance de ce système en cascade si cette architecture est adoptée. Si cette méthode repose toujours sur un apprentissage par rétroaction pure, des défaillances imprévisibles surviendront et l’objectif d’être sûr ne sera pas du tout atteint.

Si nous envisageons de ré-optimiser ou de sélectionner en utilisant des méthodes de planification traditionnelles sur cette trajectoire de sortie, cela équivaut à la trajectoire produite par la méthode basée sur l'apprentissage ; donc, pourquoi ne pas optimiser directement et rechercher cette trajectoire ?

Bien sûr, certaines personnes diraient qu'un tel problème d'optimisation ou de recherche est non convexe, possède un grand espace d'états, et est impossible à exécuter en temps réel sur un système embarqué. J'implore tout le monde de considérer attentivement cette question : au cours des dix dernières années, le système de perception a bénéficié d'au moins cent fois le dividende en puissance de calcul, mais qu'en est-il de notre module PnC ?

Si nous permettons également au module PnC d'utiliser une grande puissance de calcul, combinée à certains progrès dans les algorithmes d'optimisation avancés ces dernières années, cette conclusion est-elle toujours correcte ? Pour ce genre de problème, nous devons considérer ce qui est correct selon les premiers principes.

5. Comment concilier la relation entre méthodes basées sur les données et méthodes traditionnelles ?

Jouer aux échecs est un exemple très similaire à la conduite autonome. En février de cette année, Deepmind a publié un article intitulé « Échecs de niveau Grand Maître sans recherche », discutant de la faisabilité d'utiliser uniquement des méthodes basées sur les données et d'abandonner la recherche MCTS dans AlphaGo et AlphaZero. Semblable à la conduite autonome, une seule réseau est utilisé pour sortir directement des actions, tandis que toutes les étapes suivantes sont ignorées.

L'article conclut que, malgré une quantité considérable de données et de paramètres de modèle, des résultats assez raisonnables peuvent être obtenus sans utiliser de recherche. Cependant, il existe des différences importantes par rapport aux méthodes utilisant la recherche. Cela est particulièrement utile pour traiter certains fins de partie complexes.

Pour des scénarios complexes ou des cas extrêmes nécessitant des jeux multi-étapes, cette analogie rend toujours difficile l'abandon complet des algorithmes d'optimisation ou de recherche traditionnels. Utiliser raisonnablement les avantages de diverses technologies comme AlphaZero est la meilleure façon d'améliorer la performance.

6. Méthode traditionnelle = règle basée sur si sinon ?

J'ai dû corriger ce concept encore et encore en parlant avec de nombreuses personnes. Beaucoup pensent que tant que ce n'est pas purement basé sur les données, ce n'est pas basé sur des règles. Par exemple, aux échecs, mémoriser des formules et des parties par cœur est basé sur des règles, mais comme AlphaGo et AlphaZero, cela donne au modèle la capacité d'être rationnel par optimisation et recherche. Je ne pense pas que cela puisse être appelé basé sur des règles.

À cause de cela, le grand modèle lui-même est actuellement absent, et les chercheurs tentent de fournir un modèle basé sur l'apprentissage via des méthodes telles que CoT. Cependant, contrairement aux tâches nécessitant une reconnaissance d'image purement basée sur les données et des raisons inexpliquées, chaque action d'un conducteur a une force motrice claire.

Sous la conception d'architecture algorithmique appropriée, la trajectoire de décision devrait devenir variable et être optimisée de manière uniforme sous la direction d'objectifs scientifiques, plutôt que de patcher et d'ajuster forcé des paramètres pour fixer différents cas. Un tel système n'a naturellement pas toutes sortes de règles étranges codées en dur.

Conclusion

En résumé, la conduite autonome de bout en bout peut être une voie technique prometteuse, mais la façon dont le concept est appliqué nécessite plus de recherches. Je pense qu'une multitude de données et de paramètres de modèle n'est pas la seule solution correcte, et si nous voulons surpasser les autres, nous devons continuer à travailler dur.