[iPhoneアプリ]「LetSeeApp」のカード識別機能を試してみた。

以前、ほぼ全盲の筆者がいかにしてカードを判別するか？というテーマでエントリーした。その中で、カードを識別できるアプリがあればいいのにね、と書いたのだが、まさにそのようなアプリを発見したのでご紹介しよう。

「LetSeeApp」は、コンピュータービジョンを応用して視覚障害者の「目」の代わりをするiPhone用アプリ。視覚障害者が見ることができないものをスマートフォンのカメラとAIを用いて認識し、音声で教えてくれる。同様のアプリとしては「Seeing AI」や「Envision AI」などがある。

■iPhone用アプリ

LetSeeApp

開発／Jedlik Innovacio Korlatolt Felelossegu Tarsasag

価格／無料（App内課金あり）

現在LetSeeAppが搭載している機能は「紙幣の識別」、「光の識別」、そして「カードの識別」の３種類。このうち紙幣の識別は日本円には非対応（現在対応しているのは米ドル、ユーロ、中国人民元、ハンガリーフォリント、韓国ウォン）で、光の識別もサウンドのみとシンプル。この２つの機能については「NantMobile マネーリーダー」や「Boop Light Detector」などを使う方が幸せになれる気がする。

LetSeeAppの白眉はやはり「カードの認識」機能だろう。

このカード識別機能は、あらかじめ識別したいカードを名前をつけてデータベースに登録しておき、カメラで撮影したカードをAI画像認識で識別してその名前を音声で読み上げてくれる仕組み。

このアプリの特徴は、登録から識別まで、すべてオフラインで動作するという点。クレジットカードを始めカード情報は重要な個人情報であるため、この特徴は重要な意味を持つ。

カードの登録から認識までの基本操作。

ではさっそく、LetSeeAppを使ってカードの判別を試してみる。

LetSeeAppを起動して画面を２本指ダブルタップすると設定画面が開く。「CARD RECOGNIZER」の項目が、カード認識関連の設定だ。

※本記事での操作方法は、基本Voiceoverをオンにした状態のものです。

まずは認識させるカードを登録する。

無料版で登録できるカードは５枚まで。App内課金すれば（120円）２５枚まで登録可能になる。

1. 「Register new card」を操作。
2. 「Name」にカードの名称を入力。音声が日本語の読み上げに対応していないため、必ず半角英数で入力する。
3. 「Take a Picture」ボタンを操作し、iPhoneをカードにかざせば自動的に輪郭を認識して写真を撮影し、カードが登録される。

登録したカードの管理は「Manage cards」で行う。ここでは登録したカードの認識を一時的に無効化したり、登録したカードの削除や一括クリア処理が行える。

1. 「Manage cards」ボタンを操作。
2. 「CARDS RECORDED」に登録済みのカードがリストアップされる。それぞれのカードを操作すると、そのカードの認識をオン／オフできる。
3. またローターのカスタムアクション（上下スワイプ）からそのカードの削除が行える。
4. 「Wipe card database」ボタンを操作すれば、登録したカードを一括削除できる。

設定画面を閉じてLetSeeAppのメイン画面に戻ったら、画面を左右にスワイプ。「CARD RECOGNIZER」と読み上げられたらダブルタップしてカード認識モードを起動する。うまくモードが切り替わら無い場合は一度Voiceoverをオフにして試してみよう。

そして認識させたいカードにiPhoneをかざすと、登録したカード名称がリアルタイムに読み上げられる、はず。

使いこなすにはちょっとコツが必要？

手持ちのカードをいくつか試したところ、クレジットカードやキャッシュカードはもちろん、ポイントカードも登録できた。おそらく長方形であれば、カードの輪郭を認識して登録してくれるようだ。ただ現時点ではカードの裏表をセットにして登録することはできない（それっぽい項目は用意されているようだがまだ機能しない）。

また試しに機内モードをオンにした状態でカードの登録から認識まで実行したところ、問題なく動作した。セキュリティ的に完全に安全かどうかは断言できないが、少なくともオフラインで使えることは確認できた。

さて肝心の認識精度だが、結構微妙といった印象。

うまく認識できるかどうかは、カードを登録する時の画質に大きく左右されている感じのようだ。登録時の撮影がオートなので、照明などを事前に確認しておいた方が良いかもしれない。

また登録したカードによっては手で持っているとダメだったり、上下逆さまだと認識できない、といった現象も見られた。またカードを認識させる時も、カードからiPhoneをゆっくり離したり左右に動かす、傾けるなどの工夫をすることで認識される場合もある。

スムーズに利用するためには、カードを登録・認識する時のコツを掴む必要があるかもしれない。

色々文句っぽいことも書いたが、条件さえ揃えば、間違えることもなくカードを判別できる。日常的にサッと取り出して識別するには厳しいかもしれ無いが、自宅などでゆっくりカードを分別する時など、このアプリを使えばクラウド型OCRアプリを用いるより安全にカードの判別ができるようになると感じた。

視覚障害者を支援するアプリは数多くリリースされているが、どうしても機能優先でユーザーのセキュリティやプライバシーの問題は軽視される傾向にあるように思う。そのような意味でも、LetSeeAppは（完全に安全かはわからないが）比較的安心して使えそうなアプリかもしれない。

今後も機能の強化などが予告されており、アップデートに期待したい。

関連リンク：

LetSee - A computer vision based smartphone application for visually impaired people