以前、ほぼ全盲の筆者がいかにしてカードを判別するか？というテーマでエントリーした。その中で、カードを識別できるアプリがあればいいのにね、と書いたのだが、まさにそのようなアプリを発見したのでご紹介しよう。
「LetSeeApp」は、コンピュータービジョンを応用して視覚障害者の「目」の代わりをするiPhone用アプリ。視覚障害者が見ることができないものをスマートフォンのカメラとAIを用いて認識し、音声で教えてくれる。同様のアプリとしては「Seeing AI」や「Envision AI」などがある。
■iPhone用アプリ
開発／Jedlik Innovacio Korlatolt Felelossegu Tarsasag
価格／無料（App内課金あり）
現在LetSeeAppが搭載している機能は「紙幣の識別」、「光の識別」、そして「カードの識別」の３種類。このうち紙幣の識別は日本円には非対応（現在対応しているのは米ドル、ユーロ、中国人民元、ハンガリーフォリント、韓国ウォン）で、光の識別もサウンドのみとシンプル。この２つの機能については「NantMobile マネーリーダー」や「Boop Light Detector」などを使う方が幸せになれる気がする。
LetSeeAppの白眉はやはり「カードの認識」機能だろう。
このカード識別機能は、あらかじめ識別したいカードを名前をつけてデータベースに登録しておき、カメラで撮影したカードをAI画像認識で識別してその名前を音声で読み上げてくれる仕組み。
このアプリの特徴は、登録から識別まで、すべてオフラインで動作するという点。クレジットカードを始めカード情報は重要な個人情報であるため、この特徴は重要な意味を持つ。
カードの登録から認識までの基本操作。
ではさっそく、LetSeeAppを使ってカードの判別を試してみる。
LetSeeAppを起動して画面を２本指ダブルタップすると設定画面が開く。「CARD RECOGNIZER」の項目が、カード認識関連の設定だ。
※本記事での操作方法は、基本Voiceoverをオンにした状態のものです。
まずは認識させるカードを登録する。
無料版で登録できるカードは５枚まで。App内課金すれば（120円）２５枚まで登録可能になる。
- 「Register new card」を操作。
- 「Name」にカードの名称を入力。音声が日本語の読み上げに対応していないため、必ず半角英数で入力する。
- 「Take a Picture」ボタンを操作し、iPhoneをカードにかざせば自動的に輪郭を認識して写真を撮影し、カードが登録される。
登録したカードの管理は「Manage cards」で行う。ここでは登録したカードの認識を一時的に無効化したり、登録したカードの削除や一括クリア処理が行える。
- 「Manage cards」ボタンを操作。
- 「CARDS RECORDED」に登録済みのカードがリストアップされる。それぞれのカードを操作すると、そのカードの認識をオン／オフできる。
- またローターのカスタムアクション（上下スワイプ）からそのカードの削除が行える。
- 「Wipe card database」ボタンを操作すれば、登録したカードを一括削除できる。
設定画面を閉じてLetSeeAppのメイン画面に戻ったら、画面を左右にスワイプ。「CARD RECOGNIZER」と読み上げられたらダブルタップしてカード認識モードを起動する。うまくモードが切り替わら無い場合は一度Voiceoverをオフにして試してみよう。
そして認識させたいカードにiPhoneをかざすと、登録したカード名称がリアルタイムに読み上げられる、はず。
使いこなすにはちょっとコツが必要？
手持ちのカードをいくつか試したところ、クレジットカードやキャッシュカードはもちろん、ポイントカードも登録できた。おそらく長方形であれば、カードの輪郭を認識して登録してくれるようだ。ただ現時点ではカードの裏表をセットにして登録することはできない（それっぽい項目は用意されているようだがまだ機能しない）。
また試しに機内モードをオンにした状態でカードの登録から認識まで実行したところ、問題なく動作した。セキュリティ的に完全に安全かどうかは断言できないが、少なくともオフラインで使えることは確認できた。
さて肝心の認識精度だが、結構微妙といった印象。
うまく認識できるかどうかは、カードを登録する時の画質に大きく左右されている感じのようだ。登録時の撮影がオートなので、照明などを事前に確認しておいた方が良いかもしれない。
また登録したカードによっては手で持っているとダメだったり、上下逆さまだと認識できない、といった現象も見られた。またカードを認識させる時も、カードからiPhoneをゆっくり離したり左右に動かす、傾けるなどの工夫をすることで認識される場合もある。
スムーズに利用するためには、カードを登録・認識する時のコツを掴む必要があるかもしれない。
色々文句っぽいことも書いたが、条件さえ揃えば、間違えることもなくカードを判別できる。日常的にサッと取り出して識別するには厳しいかもしれ無いが、自宅などでゆっくりカードを分別する時など、このアプリを使えばクラウド型OCRアプリを用いるより安全にカードの判別ができるようになると感じた。
視覚障害者を支援するアプリは数多くリリースされているが、どうしても機能優先でユーザーのセキュリティやプライバシーの問題は軽視される傾向にあるように思う。そのような意味でも、LetSeeAppは（完全に安全かはわからないが）比較的安心して使えそうなアプリかもしれない。
今後も機能の強化などが予告されており、アップデートに期待したい。
関連リンク：
