ソフトバンク株式会社は、エッジAIサーバで動作する自動運転の遠隔サポート向け「交通理解マルチモーダルAI」を開発した。
このAIは、自動運転車の安全性の向上と運行コストの削減を、車外からサポートするものだ。汎用的なAI基盤モデルに、交通教本や交通法規などの日本の交通知識に加え、一般的な走行シーンや予測が困難な走行状況におけるリスクと対処方法を学習させている。
これにより、自動運転車の前方映像（ドライブレコーダー映像など）と、現在の交通状況を問うプロンプトを入力することで、複雑な走行状況やリスクを判断し、安全な走行を可能にするための推奨アクションを生成する。
システム構成は、ソフトバンクのMEC（Multi-access Edge Computing）などのエッジAIサーバで、マルチモーダルAIを低遅延かつセキュアにリアルタイムで稼働させることで、自動運転車の状況を即時に理解して、自動運転を遠隔サポートすることが想定されている。
「交通理解マルチモーダルAI」を活用した自動運転の遠隔サポートソリューションでは、自動運転車に搭載したカメラの映像を、5Gネットワークを通してリアルタイムでMECへ送信する。
MEC内のGPU（画像処理装置）で動作する「交通理解マルチモーダルAI」が、送信された映像などを基に自動運転車の走行中のリスクを即時に分析し、そのリスクと対処法をリアルタイムで言語化して、自動運転を遠隔サポートすることが可能だ。
これにより、自動運転車がリスクを判断できない状況でも、「交通理解マルチモーダルAI」が遠隔サポートすることで、安全に走行を継続することが期待されている。
すでにソフトバンクは、2024年10月に慶應義塾大学 湘南藤沢キャンパスで、「交通理解マルチモーダルAI」を活用した自動運転の遠隔サポートソリューションの実証実験を開始している。
この実証実験では、自動運転車が予期せぬ事態に直面して走行が困難になった場合でもスムーズに走行を続けられるように、「交通理解マルチモーダルAI」が外部から自動運転をサポートできるかを検証した。
その結果、自動運転車が停車中の車両と横断歩道に接近してリスクが高まると、「横断歩道の手前に停車中の車両があります。歩行者が飛び出してくる可能性があるため、一時停止してください」と生成し、外部から自動運転を遠隔サポートできることが確認された。
なお、この自動運転の遠隔サポートソリューションは、MONET Technologies株式会社が実施する自動運転技術を用いた実証などで、試験的に利用されている。
これにより、実際の走行環境で発生する、予測が困難な走行リスクと対処方法を継続的に学習することで、マルチモーダルAIの精度を向上させていく計画だ。
今後ソフトバンクは、現状では「交通理解マルチモーダルAI」が分析して言語化した情報を基に、遠隔監視者が自動運転車への指示を行っているものを、将来的にマルチモーダルAIから自動運転車へ直接指示を行うことで、運行業務の完全無人化を目指すとのことだ。
