[iPhone] 画像認識AIを用いて触覚グラフィックスに音声アノテーションを加える２つのアプリ。カメラで指先を検出し触れている部分を音声で説明。

画像引用元：、Tactile Graphics Helper

写真やイラストといったグラフィカルな情報を視覚障害者へ伝達する手段として、これらの情報を触覚で感じられる凹凸で表現した「触図」が活用されてきました。しかし単純な凹凸に触れるだけでは確実かつ素早く情報を読み取るのは難しく、補足情報の必要性が訴えられてきました。

これまでも触図の中に点字を用いた説明がつけられることはありましたが、点字が読めない大多数の視覚障害者にとっては役に立ちません。

そこで触図の理解を向上させるアプローチの一つとして、触れた部分に応じ音声による説明を加える「音声アノテーション」と呼ばれる手法が研究されてきました。例えば動物の触図に触れながらそのパーツに関する説明を聞いたり、触地図上の地名や地形などの情報を聴覚から得ることができれば、触覚のみの場合と比べ学習のパフォーマンスが大きく高まります。

これを実現する手段として、触れている部分を晴眼者が口頭で説明する対面方式や、センサーや電子たぐを用いて触れた部分に対応した音声を再生する仕組みなどが用いられてきました。ただこれらは人材の確保や制作コストなどの面で手軽に利用できるソリューションではありません。さらに2020年以降のパンデミックにより対面によるサポートが停止され、リモート環境で触覚教育を実現する方法が模索されています。

そこで低コストかつ視覚障害者が単独で利用できる仕組みとして考えられているのが、画像認識AIを用いる手法です。簡単にいうと、触図に乗せた指先をAIが認識しその位置に応じた音声を再生させるという仕組みです。以前エントリーした「TouchVision」もその一種といえるでしょう。

そしてこの仕組みをiPhoneで利用できるようにしたのが「Tactile Images READER」と「Tactile Graphics Helper」です。

どちらのアプリも基本的な仕組みはほぼ同じ。

三脚や撮影台などにiPhoneを固定し、説明に用いるマーカーを仕込んだ専用の触図を全体がファインダーに入るように設置します。あとは人差し指で触図をなぞっていくと、画像認識AIが指先を検出。触図のマーカーの部分に指が触れたタイミングで説明が再生されます。

専用の触図を用意する必要はありますが、電子的な仕組みを埋め込む場合と比べコストは圧倒的に低く、セットアップさえ済ませれば視覚に障害があっても単独で利用できるというメリットがあります。

Tactile Images READERを開発したのは、ルーマニアに拠点をおくThe Urban Development Association。2010年から触覚グラフィックスによる視覚障害者の教育と芸術鑑賞に関する活動を行っています。

公式Web「Tactile Images Encyclopedia」では、Tactile Images READERに対応したオリジナルの触図を制作できる編集ツールを公開しているほか、サンプルや豊富な触図ライブラリからデータをダウンロードすることもできます。

触図そのものの提供は行っていませんが、編集・ダウンロードしたデータをもとに触図を制作するための、チュートリアルページも用意されています。

同社はこれら一連の仕組みを視覚障害者向けeラーニングプラットホームとして位置付けており、Covid-19により遠隔教育を呼びなくされている視覚に障害のある子供の境域にこのシステムを活用しようと考えているようです。また現在流通している製品の数分の１程度の価格で入手できる触図プリンターの開発も進めているとのことです。

一方、Tactile Graphics Helperを開発したSmith-Kettlewell眼科学研究所は、眼に関する疾病とその予防、および視覚リハビリテーション技術などを幅広く研究している米国の非営利団体です。

Tactile Graphics Helperを利用するためにはまず指先を識別するためのマーカーを用意する必要があります。公式Webから二次元コードをダウンロードし印刷、テープなどで指先に固定して利用します。

また対応する触図は現時点で元素周期表、二種類の地図、人体骨格図の四種類。これらの触図は公式Webから注文できるほか、動作体験向けに配布されているPDFファイルを印刷して利用することもできます。

現在アプリはベータ版。将来的には指先マーカーを廃止し、ユーザーが任意の触図に説明マーカーを加えられるようなツールを提供する予定とのことです。

筆者はプリンターを所持していないため実際にこれらのアプリを試すことはできませんでしたが、iPhoneと撮影台さえあれば触図に音声アノテーションが加えられるという手軽さには大きな魅力を感じました。

視覚障害者にとって触図は重要な情報入手手段である一方、技術革新がなかなか進んでいない分野でもあります。スマートフォンを活用した新しい触図体験はコストの面から見ても視覚障害者の情報入手手段として実現性が高く期待できるものになるような気がします。