空間画像認識AIで視覚障害者の移動を支援するバックパック型デバイス「mira」。

miraシステム（画像引用元）。

2020年にIntelが主催したOpenCV Spatial AI Competitionで最優秀賞を獲得した、米国ジョージア大学人工知能研究所のJagadish K. Mahendran氏率いる開発者チームは、「Mira」と名付けられた視覚障害者の移動を支援するデバイスのプロトタイプを開発しました（プロモーションムービー）。

このシステムはバックパックに収納されたノートパソコンと、それに接続された画像認識AIカメラキット「OAK-D」を装着したベスト、そしてOAK-Dに電力を供給するためのバッテリ ーパックを収めたポーチという構成となっており、およそ8時間動作します。

デバイスを身につけたユーザーはBluetoothヘッドセットを接続し、音声コマンドを使ってシステムと対話しながら操作を実行します。

システムはユーザーの移動に合わせて交通標識、目の前や頭上の障害物、横断歩道、自転車などの動く物体、段差や階段など高低差の変化などさまざまな空間情報を検出し、その情報をBluetoothを通じ音声としてフィードバックします。

これにより、視覚障害者は目の前の地形や避けるべき障害物を即座に知ることができ、白杖のみの歩行の場合と比べより安全・確実な移動が可能になるとのことです。

このデバイスの中核をなすOAK-D（OpenCV AI Kit with Depth）は、OpenVINOツールキット（Intel Distribution of OpenVINO）をサポートするエッジAIプロセッサであるIntel Movidius VPUと3基のカメラを搭載した、空間画像認識AIに特化したオールインワンキットです。

特別なハードウェアを追加することなく、組み込まれた4Kカラーカメラと720pステレオカメラが捉えた映像を高度なニューラルネットワークによりリアルタイムで処理。認識した物体までの性格な距離や動きなどの深度情報とカラー情報をノートパソコン側へ送信します。

ノートパソコンは受け取った空間情報をサウンドに変換し、ユーザーへ伝達するほか、位置情報を元にナビゲーションを提供するといった役割を担います。またハンズフリーで操作するための音声認識技術も組み込まれています。

開発チームは今後ハードウェアとソフトウェアをできる限り低価格かつプラグ＆プレイで利用できるようブラッシュアップし、オープンソースとして公開する予定とのことです。

OAK-Dは誰でも購入可能なので、多少の電子工作の心得があれば、例えばペンダントやスマートグラス型などより目立たないコンパクトなデバイスをユーザーが自ら構築できるようになるのかもしれません。

これまでも視覚障害者が障害物を検知するデバイスとして、スマート白杖やリストバンド型デバイスなど数多くの製品が登場してきました。しかしその多くはセンサーとしてシングルカメラや超音波を採用したものが主流であり、精度的に必ずしも期待通りのパフォーマンスを得られるとは限りませんでした。

空間画像認識AIを用いるmiraがどこまで実用的なのかは実際に体験してみないことには判断することはできませんが、従来のデバイスと比較しどれだけの精度がえられるのか興味があります。

高精度な空間情報を認識するもう一つの新しい技術として、iPhone 12 Proなどに搭載されたLidarスキャナが、近年視覚障害者向けアプリなどに活用され始めている例があります。これらのコンピュータビジョンやLidarスキャナといった新しい空間認識技術は、主に自律走行車やロボット制御といった分野において発達してきました。これらの技術のコストが下がり手軽に利用できるようになってきたことで、今後は視覚障害者向け支援デバイスを大きく進化させるテクノロジーとしても期待が集まりそうです。

参考：Cutting Edge Intel AI-Powered Backpack Could Replace A Guide Dog For Blind People (forbes.com)