空間画像認識AIで視覚障害者の移動を支援するバックパック型デバイス「mira」。

miraシステム（画像引用元）。

2020年にIntelが主催したOpenCV Spatial AI Competitionで最優秀賞を獲得した、米国ジョージア大学人工知能研究所のJagadish K. Mahendran氏率いる開発者チームは、「Mira」と名付けられた視覚障害者の移動を支援するデバイスのプロトタイプを開発しました（プロモーションムービー）。

このシステムはバックパックに収納されたノートパソコンと、それに接続された画像認識AIカメラキット「OAK-D」を装着したベスト、そしてOAK-Dに電力を供給するためのバッテリ ーパックを収めたポーチという構成となっており、およそ8時間動作します。

デバイスを身につけたユーザーはBluetoothヘッドセットを接続し、音声コマンドを使ってシステムと対話しながら操作を実行します。

システムはユーザーの移動に合わせて交通標識、目の前や頭上の障害物、横断歩道、自転車などの動く物体、段差や階段など高低差の変化などさまざまな空間情報を検出し、その情報をBluetoothを通じ音声としてフィードバックします。

これにより、視覚障害者は目の前の地形や避けるべき障害物を即座に知ることができ、白杖のみの歩行の場合と比べより安全・確実な移動が可能になるとのことです。

このデバイスの中核をなすOAK-D（OpenCV AI Kit with Depth）は、OpenVINOツールキット（Intel Distribution of OpenVINO）をサポートするエッジAIプロセッサであるIntel Movidius VPUと3基のカメラを搭載した、空間画像認識AIに特化したオールインワンキットです。

特別なハードウェアを追加することなく、組み込まれた4Kカラーカメラと720pステレオカメラが捉えた映像を高度なニューラルネットワークによりリアルタイムで処理。認識した物体までの性格な距離や動きなどの深度情報とカラー情報をノートパソコン側へ送信します。

ノートパソコンは受け取った空間情報をサウンドに変換し、ユーザーへ伝達するほか、位置情報を元にナビゲーションを提供するといった役割を担います。またハンズフリーで操作するための音声認識技術も組み込まれています。

開発チームは今後ハードウェアとソフトウェアをできる限り低価格かつプラグ＆プレイで利用できるようブラッシュアップし、オープンソースとして公開する予定とのことです。

OAK-Dは誰でも購入可能なので、多少の電子工作の心得があれば、例えばペンダントやスマートグラス型などより目立たないコンパクトなデバイスをユーザーが自ら構築できるようになるのかもしれません。

これまでも視覚障害者が障害物を検知するデバイスとして、スマート白杖やリストバンド型デバイスなど数多くの製品が登場してきました。しかしその多くはセンサーとしてシングルカメラや超音波を採用したものが主流であり、精度的に必ずしも期待通りのパフォーマンスを得られるとは限りませんでした。

空間画像認識AIを用いるmiraがどこまで実用的なのかは実際に体験してみないことには判断することはできませんが、従来のデバイスと比較しどれだけの精度がえられるのか興味があります。

高精度な空間情報を認識するもう一つの新しい技術として、iPhone 12 Proなどに搭載されたLidarスキャナが、近年視覚障害者向けアプリなどに活用され始めている例があります。これらのコンピュータビジョンやLidarスキャナといった新しい空間認識技術は、主に自律走行車やロボット制御といった分野において発達してきました。これらの技術のコストが下がり手軽に利用できるようになってきたことで、今後は視覚障害者向け支援デバイスを大きく進化させるテクノロジーとしても期待が集まりそうです。

参考：Cutting Edge Intel AI-Powered Backpack Could Replace A Guide Dog For Blind People (forbes.com)

[iPhone] アナログ感覚で時刻を教えてくれる振動時計アプリ「HapticTime」。

「HapticTime」はその名の通り、時刻をiPhoneの振動で表現する無料アプリです。

振動で時刻を通知すると聞くと、Apple Watch、watchOS 6以降で利用できる「Tapticタイム」がすぐに思い浮かびます。

Tapticタイムは長い振動と短い振動を組み合わせ数字の回数ぶんだけ繰り返すか、もしくはモールス信号形式で時刻を教えてくれる仕組み。画面が見えない視覚障害者が音声を出せない、もしくは聞き取りにくい場面などで時刻を確認したい時に便利です。

初めはHapticTimeもそのようなアプリなのかな？と思っていたのですが、実際に試してみるとその仕組みは思いがけず斬新なものでした。なんとこのアプリは時刻をたった２回だけの振動で表現するのです。

どうやって？

早速体験してみましょう。

1. いきなりですが、大きなアナログ時計をイメージします。円形の文字盤の周囲に数字が書いてあるあれです。
2. アプリを起動しiPhoneを縦方向、画面を上にし水平に持ちます。
3. イメージした時計の真ん中にiPhoneを突っ込んで画面が12時を照らしていると想像します。
4. iPhoneを左右方向に回転させます。iPhoneの位置があまり動かないように手首をひねる感じです。画面がイメージした時計の数字を順番に照らしていく様子を想像しましょう。あ、むりして手首を痛めないよう注意してください。
5. 回転していく途中で強い振動（コツコツッ）もしくは弱い振動（コツッ）を感じます。これがイメージした時計の短針と長針を表現しています。

いま何時何分か、わかりましたか？

なお画面のダイレクトタッチと読み上げられる領域の少し下に時刻が表示されており、タップするとVoiceoverが読み上げます。また今回は試していませんがアラーム機能も搭載されているようです。

さて正直なところ実用性があるか？と問われるとどうでしょう、あまり無いかもしれません。Tapticタイムのように音を出せない場所で時刻を確認するという用途を考えてみると、ロック画面やバックグラウンドで動作しないHapticTimeは不向きです。

あと短針と長針が近いと判別が難しいという弱点もありますし、そもそもざっくりとしか時刻がわかりません。

ただ実用性という意味では今ひとつですが、仮想空間にあるアナログ時計（をイメージして）時刻を知るという発想には魅かれるものがあります。

イメージが膨らむと実際に時計の盤面を見ている気分になり、時間が進むと針の位置が移動していることがしっかり感じられて面白いのです。このアナログな感じ、Tapticタイムのような仕組みでは味わえない感覚ではないでしょうか。意味もなく何度も時刻を確認してしまいました。

筆者は針に触れて時刻を確認するタイプの盲人用時計には触ったことはありませんが、それに似たような感じかもと想像します。バーチャルではありますが「アナログ時計で時間を確かめる」なんて感覚、もしかしたら見えなくなって以来かもしれません。

「HapticTime」は意外？にもジェスチャーと触覚（振動）の組み合わせによるユーザーインタラクションの可能性を感じさせてくれるアプリでした。シンプルな振動だけでもアイデア次第で、もっと様々な体験が可能になるのかもしれませんね。

ちなみにこのアプリを開発したLorenzo Giannantonio氏は他にも興味深い視覚障害者向けアプリをリリースしています。いずれもiPhoneのカメラを使い根の前の環境や物体を識別して音声や振動でフィードバックするというものです。ただこれらのアプリ、背面に二つ以上のカメラが搭載されたiPhoneでなければうまく動作しないようで、筆者のiPhone 7では検証することができませんでした。あしからず。

JoWalk　床面の変化を検出し通知するアプリ。

Steps Detector　障害物や段差などを検出し通知するアプリ。

VibView　物体の色、輪郭、距離を検出し通知するアプリ。

スペイン、アルハンブラ宮殿で「喋る3Dモデル」を展示。文化遺産をアクセシブルに。

プレゼンテーションの様子（画像引用元）

スペインが誇る世界文化遺産であるアルハンブラ宮殿で、視覚に障害がある観光客のための触れられる3Dモデルが試験的に展示されています。これはヨーロッパの世界文化遺産のアクセシビリティ向上を目指すプロジェクト「UNESCO4ALL」の一環として実施されたものです。

目の見えない訪問者は、宮殿内の有名な庭園であるパティオ・デ・ロス・レオネスのジオラマ模型を指先で探索しながら、象徴的なライオンの噴水モニュメントなどを3Dモデルに触れて体験することができます。

この模型にはセンサーが組み込まれており、触れている場所に応じて、建築物の文化的価値や歴史的背景などを説明する音声ナレーションが流れる仕組みになっています。

建築物など触れることが難しいものを視覚障害者へ説明する手段として、触覚モデルは広く用いられてきました。しかし「物言わぬ」模型に触れるだけでは理解することが難しく、人力によるサポート、つまり口述による説明や別途よういされた音声ガイドなどが不可欠でした。

このトーキングモデルを制作したUNESCO4ALLによると、触覚モデルに音声を統合することで得られるインタラクティブな体験は視覚障害者の自立性を高めるだけでなく、あらゆる人々にも有益な情報を提供することができると語っています。

UNESCO4ALLはEUに加盟している6カ国、イタリア、ブルガリア、クロアチア、マルタ、スペイン、オランダに拠点を置く文化のアクセシビリティに取り組む組織によって構成され、ユネスコ世界文化遺産のアクセシビリティ、特に視覚障害者のための支援技術の促進に力を入れているプロジェクトです。

現在アルハンブラ宮殿に加え、クロアチアのサンティアゴ・デ・シベニク大聖堂、イタリアのアクイレア大聖堂、ブルガリアのリラ修道院の四ヶ所で同様の試験プログラムが実施されています。

参考：Un proyecto europeo acerca la Alhambra a las personas ciegas (granadahoy.com)

[ゲーム] 全盲プレイヤーに福音？ゲームを強制的に音声読み上げする「Mars Vision」。

現在開発中の「Mars Vision」は、ゲームの画面を見ることができないプレイヤーに対して音声による追加情報を提供するWindows用アプリケーションです。これを使うことで、音声読み上げなどの視覚をサポートするアクセシビリティ機能が搭載されていないゲームであっても、画面を見ることなくプレイすることができるようになるとのこと。

「Mars Visionは対応するゲームの画面をAI技術（ニューラルネットワーク）を用いてリアルタイムに解析。その結果をもとに画面上のテキストを音声で読み上げたりメニューをキーボードから操作したり、さらにゲーム進行のヒントとなるオーディオキュー（効果音）などを追加することで、画面を見ることができないプレイヤーを支援します。

このツールの動作にあたってはプログラムの改変などゲーム本編には一切手を加えないとのこと。デモ動画も公開されています。

視覚に障害のあるゲーマーの間では、ゲーム画面をスマートフォンアプリやスクリーンリーダーのOCR機能を用いてキャプチャして解析し、画面上のテキストを読み上げることでゲームを進める手法が考案されています。Mars Visionはこれを特定のゲームタイトル向けに拡張したものというイメージでしょうか。

DocumentによるとMars Visionはフルスクリーン表示されているゲームのバックグラウンドで動作し、ホットキーを用いてナビゲーションする仕組みのようです。いわばゲーム専用のスクリーンリーダーといった感覚ですね。現時点では英語版ゲームに対応し、読み上げスピードの調節やマウスボタンのクリック操作なども可能です。

Mars Visionは現在Civilization VI、Grand Theft Auto V、The Witcher 3、World of Warcraftなどでテストされており、今後もメジャーなMMORPGやシミュレーション、FPSに至るまで幅広いジャンルのゲームに対応していく予定とのこと。

開発にあたってはゲーム製作会社Super.comとのパートナーシップを締結、テストには多くの視覚障害当事者が参加しており、正式版は2021年後半にリリースされる予定です。

現在クローズドベータテスト中で、公式サイトでは広く視覚障害当事者やコミュニティからの参加を呼びかけています。ただこの公式サイト、ちょっと不安になるレベルでアクセシビリティが弱い。大丈夫なのかな？

さて、AIでゲームをアクセシブルにするという試みは少し前にRetroArchエミュレータにOCR機能が搭載されたという例がありました。ゲームに限らずAIを応用してコンテンツのアクセシビリティを向上させるというアプローチは、一つの手段としては面白いしアリではあると思います。ですが本来であれば開発側がきっちりアクセシビリティを確保する、というのが望ましい状況でしょう。

このようなツールはゲームにアクセシビリティが浸透するまでのつなぎ的、、もしくはレガシーな作品をプレイするための手段と考えるべきかもしれません。

参考：Super.com partners with Mars Vision to improve access for visually impaired gamers | VentureBeat

視覚障害者を導く？ ロンドンの信号機に備えられている不思議なオブジェ。

触覚コーン（画像引用元）

視覚障害者が安全に交差点を横断する支援技術としては、日本ではピヨピヨカッコーなどの音で青信号を知らせてくれる音響式信号機が知られています。一方、英国ロンドンにある信号機には、ちょっとユニークな仕掛けが用いられているようです。

Why London’s traffic lights have a secret spinning cone hidden underneath the button - MyLondon

これは「触覚コーン（Tactile cone）」と呼ばれる装置。信号機の支柱にひっそりと備え付けられています。

小さなボックスの中には、円錐形のプラスチックもしくは金属製の物体が仕込まれており、歩行者用信号が青に変わるとこのオブジェがくるくる回転します。要するに信号の色をめで確認できない歩行者でも、これに触れることで横断歩道を渡るタイミングを判断することができるという仕掛けです。

結構アナログというか原始的ですね。

もちろんロンドンの信号機にも音響装置は広く設置されていますが、近い場所に複数の信号機が存在しているなど音を聞き間違いやすい場所ではこのような装置が採用されているようです。一部の交差点では音響装置と併用されているケースもあるとのこと。

この触覚コーンは音響式と比べ盲ろう者にも使え、近年問題にもなっている騒音クレームの心配も無用です。一方あくまでも信号の色しか伝達しないため、音響式のように「音が鳴っている方向にまっすぐ渡る」ことはできません。一長一短ですね。もしかしたらエスコートゾーンのような触覚誘導の工夫があるのかもしれませんが確認できませんでした。

この装置は1980年、Nottingham大学の研究者によって考案され、1989年頃から広く設置が進みました。1995年には10,000台を出荷したとのことで、結構歴史が長いことに驚きます。全然知りませんでした。

現在どれだけの設置率なのかはわかりませんが、今もメンテナンスされ続け現役で動作しているということは、それなりに活用されているということなのでしょうか。

近年国内ではスマホアプリを活用した信号機システムが話題になっていますが、全盲として個人的には音響式が現状最善のソリューションと思っているのですけどね。だって青信号を判断できたとしても、エスコートゾーンもない大きな通りを無音でまっすぐ渡り切る自信は、私にはありません……。

とはいえ、この歴史ある触覚コーン、ちょっと触ってみたいと感じました。英国の手触りがするのでしょうか。どんなだ。でも最近はCovid-19の影響であ まり利用されていないのかもしれませんね。

参考：The secret button at pedestrian crossings - BBC News

[ゲーム] Street Fighter Vのモノラルサウンド問題に関する雑感。

2021年2月末、ゲームアクセシビリティ界隈でちょっとした騒ぎがありました。Capcomの人気2D対戦格闘ゲーム「Street Fighter V」のモノラルサウンド問題です。ことの顛末は以下の記事でどうぞ。

Latest Street Fighter 5 Patch Makes It Unplayable For Blind Players (thegamer.com)

Street Fighter V update makes it impossible for blind people to play | PC Gamer

ストリートファイターV、開発元のカプコンが目の不自由なプレイヤーでもプレイできるようにバグを修正すると発表 | NME Japan Gaming

最後の記事はちょっとタイトルに疑問がある気がしますが。

要するにアップデートにより、これまでステレオで再生されていた効果音がモノラルに固定され、音を頼りにプレイしていた画面を見ることができないゲーマーから落胆の声が挙がった、というお話。

Capcomからのリリースによると3月4日のアップデートで音声がモノラルになる不具合は解消されたとのこと。ひとまず安心、といったところでしょうか。

これで一件落着、とは思ったものの、見えないプレイヤーにとって今回のバグは大きな問題であった一方、あのリリースを読んだ大部分の「一般」ユーザーは、この修正をそこまで重要なものとは捉えていないでしょう。

このギャップに何かモヤモヤしたものを感じつつ、同時にこの一件でゲームアクセシビリティの「脆さ」についても考えさせられました。以下とりとめもなく。

Capcomは「サウンドを頼りにプレイするユーザー」の存在を認識している可能性はありますが、このリリースやツイートを読む限りステレオサウンドをアクセシビリティ要素の一つとしては位置付けていないというスタンスが透けて見えます。

事実SFVのステレオサウンドはステージによってギミックからの音がキャラクターの効果音を妨げるケースが多く、「見えないプレイヤーにとって遊びやすいステージのリスト」がまとめられているほどです。つまりSFVのサウンドはあくまでも演出の一つであり、アクセシビリティを高める目的では設計されていないと想像できます。

SFVに限らず、アクセシビリティを意図せず設計されたサウンドデザインが、結果的に見えないプレイヤーに恩恵をもたらすという作品の例は少なくありません。ですが逆にいえば無意識なだけにアップデートや続編でプレイアブルな状態がキープされる保証は得られないという、結構不安定な状況に立たされています。

修正はされましたが今回の一件はその事実を白日の元に晒したといえるでしょう。バグであればまだしも、ちょっとした仕様変更、例えば効果音の廃止やグラフィックの刷新で一部のプレイヤーが阻害されたとしても「演出の変更」という理由でスルーされる可能性も十分あり得ます。

そもそもStreet Fighter Vが見えないゲーマーにとって本当にアクセシブルな格闘ゲームであるか？と聞かれると、必ずしもそうではないでしょう。効果音がステレオで再生されることでキャラクターの位置を確認できることは重要で、これを実現している対戦格闘ゲームは少数です。ですが一方ユーザーインターフェイスにはナレーションが付けられていませんし、ゲージなど重要な情報は音声で提供されません。

あくまでもSFVは「結果的に（というか偶然に）ゲーム本編がプレイ可能」になっているという状況に過ぎません。

もちろん情報を収集し見えなくてもプレイ可能なゲームを発見し、あらゆる手法を駆使して挑んでいくという視覚障害コミュニティのパワーはエキサイティングではあります。ですが本来であればそのようなニーズをメーカーが救い上げ、対話を重ねつつ可能な範囲でアクセシビリティを向上させ担保していくことが理想でしょう。今回は画面を見ることができないケースですが、他の障害についても同じようなことがいえます。

2020年の「The Last of Us Part II」の登場やPS5やXbox Series X/Sのリリースでプラットホーム側がアクセシビリティに本腰を入れ始めている状況の中、サードパーティーとしてもアクセシビリティは無視できない要素となりつつあることは間違いありません。SFVがリリースされた当時から比べると、ゲームアクセシビリティを取り巻く状況は確実に変わりつつあります。

とはいえ現実的に考えると、リリースから長期間経過した作品にアクセシビリティオプションを「後付け」することは難しいかもしれません。ですが今後登場する作品に、開発の初期段階からアクセシビリティオプションを導入するよう、メーカーに働きかけていくことが業界のアクセシビリティに対する意識を変えるきっかけになるのではと思います。

そしてゲーム業界をインクルーシブにするためにはメーカーもそのような声に耳を傾けていく姿勢が求められてくるのではと思うのでした。

おまけ。対戦格闘ゲームの視覚アクセシビリティについては、この記事も興味深いです。見えないプレイヤーが様々な工夫でゲームにアクセスする様子の一端が窺えます。

英国。スマートスピーカーを通じ視覚障害者に情報を提供する「RealSAM Speaker」。

Google Homeスマートスピーカー（画像引用元）

2021年3月1日、英国RealSAM社は視覚障害者向けのスマートスピーカープラットホームである「RealSAM Speaker」のサービスを開始しました。

このサービスは視覚障害者が所有するスマートスピーカーを通じ、毎日のニュースや最新刊・児童書を含む27,000冊以上のオーディオブック、Covid-19関連情報、さらに英国内の視覚障害者支援団体からの情報リソースなど、膨大な音声コンテンツを提供します。

同社は視覚障害者向けにすでに音声中心で操作できるAndroidベースのスマートフォン「RealSAM Pocket」を販売しており、そこで提供されているコンテンツサービスを既存のスマートスピーカーユーザー向けにしたのが今回ローンチされたRealSAM Speakerのようです。

サブスクリプション料金は最初の12カ月間は19.90ポンド、以降は月額9.95ポンドとなっています。サブスクリプション契約者は所有しているGoogle Homeスマートスピーカーにアカウントを登録し「Talk to RealSAM」と話しかけることでこの膨大な情報にワンストップでアクセスできるようになります。また2021年5月にはAmazonのALEXAデバイスでも利用可能になる予定とのこと。

マルチコマンドにも対応しており、例えばオーディオブックのジャンルや著者を検索し、そのまま続けて聞きたいブックを再生するような使い方もできるようです。

視覚障害者の間でも、少しずつスマートスピーカーは普及してきてはいますが、あちこちに散らばった情報をエルためには多くのコマンドを覚えなければならず、ハードルが高かったのも事実でした。せっかくスマートスピーカーを導入しても、あまり活用できていないユーザーも少なくなさそうです。そもそもスマートスピーカーで得られる情報が視覚障害者にとって最適化されているか？といえばそれも疑問です。

RealSAM社は必要なコンテンツを音声プラットホームに集約させ、最適な形で提供することで、このサービスを視覚障害者向けの情報ハブとして位置付けているようです。Webからの情報取得が苦手な視覚障害者にとっては、特に便利なサービスかもしれませんね。

参考：New AI tech makes news and entertainment accessible for end-users with sight loss • THIIS Magazine