エンドツーエンドの自律走行システム：未来を駆動

エンドツーエンドの自律走行システムを定義するにはどうすればよいか？

最も一般的な定義は、「エンドツーエンド」システムとは、生のセンサー情報を入力し、タスクに関係する変数を直接出力するシステムであるということです。例えば、画像認識において、CNNは従来の特徴抽出＋分類器の方法と比較して「エンドツーエンド」と呼ばれることがあります。

自律走行タスクでは、カメラ、LiDAR、レーダー、IMUなどのさまざまなセンサーからのデータを入力し、スロットルやステアリングホイール角度などの車両制御信号を直接出力します。異なる車両モデルへの適応問題を考慮すると、出力は車両の走行軌跡に緩和することも可能です。

この基盤に基づき、モジュール式のエンドツーエンドの概念も登場しており、例えばUniADのように、最終的な出力制御信号やウェイポイントに加えて、関連する中間タスクの監督を導入することで性能を向上させています。ただし、この狭い定義から見ると、エンドツーエンドの本質は感覚情報の損失のない伝達であるべきです。

まず、非エンドツーエンドシステムにおけるセンサーとPnC（Perception and Control）モジュール間のインターフェースを振り返ります。通常、ホワイトリストに登録された物体（車、人など）を検出し、その性質を分析・予測します。また、静的環境（道路構造、速度制限、信号機など）についても学習します。より詳細に行えば、普遍的な障害物も検出します。要するに、これらの知覚によって出力される情報は、複雑な運転シーンの表示モデルを構成します。

しかし、非常に明らかなシーンにおいては、現在の明示的な抽象化ではシーン内の運転行動に影響を与える要素を完全に記述できない場合や、定義すべきタスクがあまりにも単純すぎて、すべての必要なタスクを列挙するのが難しい場合があります。したがって、エンドツーエンドシステムは、この情報を用いて自動的かつ損失なくPnCに作用する包括的な表現を提供することを目指しています。私の意見では、この要件を満たすすべてのシステムは一般化されたエンドツーエンドと呼ぶことができます。

その他の課題、例えば動的インタラクションシナリオの最適化については、少なくともエンドツーエンドだけでこれらの問題を解決できるわけではなく、エンドツーエンドが最良の解決策であるとも限りません。従来の方法でもこれらの問題を解決でき、もちろん、データ量が十分に多い場合にはエンドツーエンドの方がより良い解決策を提供することもあります。

エンドツーエンド自律走行に関する誤解

1. 制御信号とウェイポイントを出力しなければエンドツーエンドとは言えない。

上記の広いエンドツーエンドの概念に同意するなら、この問題は理解しやすいです。エンドツーエンドは、タスクの量を直接出力することではなく、情報の損失のない伝達を強調すべきです。狭いエンドツーエンドのアプローチは、多くの不要な問題を引き起こし、安全性を確保するための隠れた解決策を多く必要とします。

2.エンドツーエンドシステムは大規模モデルまたは純粋なビジョンに基づく必要がある。

エンドツーエンド自律走行、大規模モデル自律走行、純粋なビジョン自律走行は、完全に独立した概念であるため、必ずしも関連していません。エンドツーエンドシステムは必ずしも大規模モデルによって駆動されるわけではなく、純粋なビジョンによって駆動される必要もありません。

3.長期的に見て、狭義のエンドツーエンドシステムがL3以上の自律走行を実現可能か？

現在「純粋なエンドツーエンドFSD」と呼ばれる性能は、L3レベルで求められる信頼性と安定性を満たすにはほど遠いです。率直に言えば、自動運転システムが一般に受け入れられるためには、いくつかのケースで機械が間違いを犯すことを人々が受け入れ、それを人間が容易に解決できることが重要です。これは純粋なエンドツーエンドシステムにとってはより難しい課題です。

例えば、北米のWaymoやCruiseは多くの事故を経験しています。しかし、Cruiseの最後の事故は2人が負傷しましたが、そのような事故は人間のドライバーにとってはかなり避けられないものであり、許容されることもあります。ただし、この事故の後、システムは事故の場所や負傷者の位置を誤判断し、停車モードにダウングレードし、負傷者を長時間引きずる結果となりました。この行動は普通の人間のドライバーには受け入れられません。行われることはなく、その結果は非常に悪いものとなります。

さらに、これは私たちが自律走行システムの開発と運用中にこのような状況を避ける方法を慎重に検討すべき警鐘です。

4.では、次世代の大量生産された支援運転システムの実用的な解決策は何か？

私の現在の理解では、運転においていわゆるエンドツーエンドモデルを使用した場合、軌道を出力した後、従来の方法に基づく解決策を返します。あるいは、学習ベースのプランナーと従来の軌道計画アルゴリズムが複数の軌道を同時に出力し、その中から1つをセレクターで選択します。

この種の隠れた解決策と選択は、このシステムアーキテクチャを採用した場合の性能の上限を制限します。この方法が純粋なフィードバック学習に基づいている場合、予測不可能な失敗が発生し、安全性の目標は全く達成されません。

この出力軌道に対して従来の計画手法を用いて再最適化や選択を考える場合、それは学習駆動の方法によって生成された軌道と同等です。では、なぜこの軌道を直接最適化し探索しないのでしょうか？

もちろん、一部の人々はそのような最適化や探索問題は非凸であり、状態空間が大きく、車載システム上でリアルタイムに実行することは不可能だと考えるかもしれません。私は皆さんにこの質問を慎重に考えるように促します：過去10年間で、認識システムは少なくとも100倍の計算能力の恩恵を受けましたが、私たちのPnCモジュールはどうでしょうか？

もし私たちがPnCモジュールにも大きな計算能力を使用させ、近年の高度な最適化アルゴリズムの進歩と組み合わせた場合、この結論は依然として正しいのでしょうか？この種の問題については、第一原理から何が正しいかを考えるべきです。

5. データ駆動型と従来の方法の関係をどのように調整すれば良いですか？

チェスをプレイすることは、自動運転に非常に似た例です。今年の2月にDeepmindは「探索なしのグランドマスター級チェス」という記事を発表し、AlphaGoやAlphaZeroで探索を放棄し、データ駆動のみを使用することが可能かどうかについて議論しました。自動運転と同様に、1つのネットワークだけを使用して直接行動を出力し、その後のステップはすべて無視されます。

この記事は、多くのデータとモデルパラメータがあっても、探索を使用しなくてもかなり合理的な結果を得られると結論付けています。ただし、探索を用いる方法と比べて大きな違いもあります。これは特に複雑な終盤局面に対処するのに役立ちます。

複雑なシナリオやマルチステップゲームを必要とするコーナーケースでは、この類推は従来の最適化や探索アルゴリズムを完全に放棄することを依然として難しくします。AlphaZeroのようなさまざまな技術の利点を合理的に活用することが、性能向上の最良の方法です。

6. 従来の方法＝ルールベースのif else？

私はこの概念を何度も訂正しながら多くの人と話してきました。多くの人は、純粋にデータ駆動でなければルールベースではないと信じています。例えば、チェスでは、公式や棋譜を暗記することはルールベースですが、AlphaGoやAlphaZeroのように、最適化と探索を通じてモデルに合理性を持たせることはルールベースとは呼べません。

そのため、大規模モデル自体は現在欠如しており、研究者はCoTなどの方法を通じて学習駆動型のモデルを提供しようとしています。ただし、純粋なデータ駆動の画像認識や説明不能な理由を必要とするタスクとは異なり、運転者のすべての行動には明確な推進力があります。

適切なアルゴリズムアーキテクチャの設計の下で、意思決定の軌跡は変動可能となり、科学的な目標の指導の下で一様に最適化されるべきであり、異なるケースに対してパラメータを無理に修正・調整することではありません。そのようなシステムは自然にさまざまなハードコーディングされた奇妙なルールを持たなくなります。

結論

要するに、エンドツーエンドは有望な技術的ルートかもしれませんが、その概念の適用方法にはさらなる研究が必要です。多くのデータやモデルパラメータだけが正しい解決策ではなく、他者を超えるためには努力を続ける必要があります。