Sistemas de conducción autónoma de extremo a extremo: Conduciendo el futuro

¿Cómo definir un sistema de conducción autónoma de extremo a extremo?

La definición más común es que un sistema «de extremo a extremo» es aquel que recibe información cruda de los sensores y produce directamente variables de interés para la tarea. Por ejemplo, en reconocimiento de imágenes, una CNN puede llamarse «de extremo a extremo» en comparación con el método tradicional de características + clasificador.

En tareas de conducción autónoma, se ingresa información de diversos sensores (como cámaras, LiDAR, Radar o IMU…) y se generan señales de control del vehículo (como acelerador o ángulo del volante). Para considerar los problemas de adaptación a diferentes modelos de vehículos, la salida también puede relajarse para que sea la trayectoria de conducción del vehículo.

Basándose en esta base, también han surgido conceptos modulares de extremo a extremo, como UniAD, que mejoran el rendimiento mediante la supervisión de tareas intermedias relevantes, además de las señales de control o puntos de referencia finales. Sin embargo, desde una definición tan estrecha, la esencia del extremo a extremo debería ser la transmisión sin pérdida de la información sensorial.

Primero revisemos las interfaces entre los módulos de percepción y PnC en sistemas no de extremo a extremo. Normalmente, detectamos objetos en la lista blanca (como coches, personas, etc.) y analizamos y predecimos sus propiedades. También aprendemos sobre el entorno estático (como estructura de la vía, límites de velocidad, semáforos, etc.). Si fuéramos más detallados, también detectaríamos obstáculos universales. En resumen, la información que generan estas percepciones constituye un modelo visual de escenas complejas de conducción.

Sin embargo, para algunas escenas muy evidentes, la abstracción explícita actual no puede describir completamente los factores que afectan el comportamiento de conducción en la escena, o las tareas que necesitamos definir son demasiado triviales, y es difícil enumerar todas las tareas requeridas. Por lo tanto, los sistemas de extremo a extremo ofrecen una representación (quizás implícita) integral con la esperanza de actuar automática y sin pérdida sobre los PnC con esta información. En mi opinión, todos los sistemas que puedan cumplir con este requisito pueden llamarse de extremo a extremo generalizado.

En cuanto a otros temas, como algunas optimizaciones de escenarios de interacción dinámica, creo que al menos no solo el extremo a extremo puede resolver estos problemas, y el extremo a extremo puede no ser la mejor solución. Los métodos tradicionales pueden resolver estos problemas, y por supuesto, cuando la cantidad de datos es lo suficientemente grande, el extremo a extremo puede ofrecer una mejor solución.

Algunas ideas erróneas sobre la conducción autónoma de extremo a extremo

1. Las señales de control y los puntos de referencia deben ser generados para que sea de extremo a extremo.

Si estás de acuerdo con el concepto amplio de extremo a extremo discutido anteriormente, entonces este problema es fácil de entender. El extremo a extremo debe enfatizar la transmisión sin pérdida de información en lugar de generar directamente el volumen de tareas. Un enfoque estrecho de extremo a extremo causará muchos problemas innecesarios y requerirá muchas soluciones encubiertas para garantizar la seguridad.

2. El sistema de extremo a extremo debe basarse en modelos grandes o visión pura.

No existe una conexión necesaria entre la conducción autónoma de extremo a extremo, la conducción con modelos grandes y la conducción puramente visual, ya que son conceptos completamente independientes; un sistema de extremo a extremo no necesariamente está impulsado por modelos grandes, ni por visión pura.

3. A largo plazo, ¿es posible que el sistema de extremo a extremo mencionado anteriormente en un sentido estrecho logre una conducción autónoma por encima del nivel L3?

El rendimiento de lo que actualmente se llama FSD de extremo a extremo puro está muy lejos de ser suficiente para cumplir con la fiabilidad y estabilidad requeridas en el nivel L3. Para ser más claros, si el sistema de conducción autónoma quiere ser aceptado por el público, la clave es si el público puede aceptar que en algunos casos, la máquina cometa errores, y los humanos puedan resolverlos fácilmente. Esto es más difícil para un sistema de extremo a extremo puro.

Por ejemplo, tanto Waymo como Cruise en España han tenido muchos accidentes. Sin embargo, el último accidente de Cruise resultó en dos heridos, aunque tales accidentes son bastante inevitables y aceptables para conductores humanos. Sin embargo, tras este accidente, el sistema malinterpretó la ubicación del accidente y la de los heridos y cambió a modo de parada, causando que los heridos fueran arrastrados durante mucho tiempo. Este comportamiento es inaceptable para cualquier conductor humano normal. No se debe hacer, y los resultados serán muy malos.

Además, esto es una llamada de atención para que consideremos cuidadosamente cómo evitar esta situación durante el desarrollo y operación de sistemas de conducción autónoma.

4. Entonces, en este momento, ¿cuáles son las soluciones prácticas para la próxima generación de sistemas de conducción asistida de producción masiva?

Según mi comprensión actual, al usar el llamado modelo de extremo a extremo en la conducción, después de generar la trayectoria, se devolverá una solución basada en métodos tradicionales. Alternativamente, planificadores basados en aprendizaje y algoritmos tradicionales de planificación de trayectorias generan múltiples trayectorias simultáneamente y luego seleccionan una mediante un selector.

Este tipo de solución encubierta y elección limita el límite superior del rendimiento de este sistema en cascada si se adopta esta arquitectura. Si este método todavía se basa en aprendizaje de retroalimentación pura, ocurrirán fallos impredecibles y no se logrará el objetivo de ser seguro en absoluto.

Si consideramos volver a optimizar o seleccionar utilizando métodos de planificación tradicionales en esta trayectoria de salida, esto es equivalente a la trayectoria producida por el método impulsado por el aprendizaje; por lo tanto, ¿por qué no optimizamos y buscamos directamente esta trayectoria?

Por supuesto, algunas personas dirían que tal problema de optimización o búsqueda es no convexo, tiene un espacio de estados grande y es imposible de ejecutar en tiempo real en un sistema a bordo del vehículo. Ruego a todos que consideren cuidadosamente esta pregunta: en los últimos diez años, el sistema de percepción ha recibido al menos cien veces más potencia de cálculo, pero ¿qué pasa con nuestro módulo PnC?

Si también permitimos que el módulo PnC utilice una gran potencia de cálculo, combinada con algunos avances en algoritmos de optimización avanzada en los últimos años, ¿sigue siendo correcta esta conclusión? Para este tipo de problema, debemos considerar qué es correcto desde los principios básicos.

5. ¿Cómo reconciliar la relación entre métodos basados en datos y métodos tradicionales?

Jugar al ajedrez es un ejemplo muy similar a la conducción autónoma. En febrero de este año, Deepmind publicó un artículo titulado “Ajedrez a nivel Gran Maestro sin búsqueda”, discutiendo si es factible usar solo datos y abandonar la búsqueda MCTS en AlphaGo y AlphaZero. Similar a la conducción autónoma, solo se usa una red para generar directamente las acciones, mientras que todos los pasos posteriores se ignoran.

El artículo concluye que, a pesar de una cantidad considerable de datos y parámetros del modelo, se pueden obtener resultados bastante razonables sin usar búsqueda. Sin embargo, hay diferencias significativas en comparación con los métodos que utilizan búsqueda. Esto es especialmente útil para manejar algunos finales complejos.

Para escenarios complejos o casos extremos que requieren juegos de múltiples pasos, esta analogía aún hace difícil abandonar completamente los algoritmos tradicionales de optimización o búsqueda. Utilizar razonablemente las ventajas de varias tecnologías como AlphaZero es la mejor manera de mejorar el rendimiento.

6. Método tradicional = reglas basadas en si y sino?

He tenido que corregir este concepto una y otra vez mientras hablaba con muchas personas. Muchas creen que mientras no sea puramente impulsado por datos, no es basado en reglas. Por ejemplo, en el ajedrez, memorizar fórmulas y registros de partidas de memoria es basado en reglas, pero como AlphaGo y AlphaZero, le da al modelo la capacidad de ser racional mediante optimización y búsqueda. No creo que pueda llamarse basado en reglas.

Por esto, el modelo grande en sí mismo actualmente falta, y los investigadores están intentando proporcionar un modelo impulsado por el aprendizaje mediante métodos como CoT. Sin embargo, a diferencia de tareas que requieren reconocimiento de imágenes puramente impulsado por datos y razones inexplicables, cada acción de una persona conduciendo tiene una fuerza motriz clara.

Bajo el diseño adecuado de la arquitectura del algoritmo, la trayectoria de decisión debería volverse variable y optimizarse de manera uniforme bajo la guía de metas científicas, en lugar de parchear y ajustar parámetros forzosamente para solucionar diferentes casos. Tal sistema naturalmente no tiene todo tipo de reglas extrañas codificadas de forma rígida.

Conclusión

En resumen, la conducción autónoma de extremo a extremo puede ser una ruta técnica prometedora, pero cómo se aplica el concepto requiere más investigación. Creo que un montón de datos y parámetros del modelo no son la única solución correcta, y si queremos superar a otros, debemos seguir trabajando duro.