2019年7月12日金曜日

[iPhoneアプリ]「LetSeeApp」のカード識別機能を試してみた。


以前、ほぼ全盲の筆者がいかにしてカードを判別するか?というテーマでエントリーした。その中で、カードを識別できるアプリがあればいいのにね、と書いたのだが、まさにそのようなアプリを発見したのでご紹介しよう。

「LetSeeApp」は、コンピュータービジョンを応用して視覚障害者の「目」の代わりをするiPhone用アプリ。視覚障害者が見ることができないものをスマートフォンのカメラとAIを用いて認識し、音声で教えてくれる。同様のアプリとしては「Seeing AI」や「Envision AI」などがある。

■iPhone用アプリ
開発/Jedlik Innovacio Korlatolt Felelossegu Tarsasag
価格/無料(App内課金あり)

現在LetSeeAppが搭載している機能は「紙幣の識別」、「光の識別」、そして「カードの識別」の3種類。このうち紙幣の識別は日本円には非対応(現在対応しているのは米ドル、ユーロ、中国人民元、ハンガリーフォリント、韓国ウォン)で、光の識別もサウンドのみとシンプル。この2つの機能については「NantMobile マネーリーダー」や「Boop Light Detector」などを使う方が幸せになれる気がする。

LetSeeAppの白眉はやはり「カードの認識」機能だろう。
このカード識別機能は、あらかじめ識別したいカードを名前をつけてデータベースに登録しておき、カメラで撮影したカードをAI画像認識で識別してその名前を音声で読み上げてくれる仕組み。
このアプリの特徴は、登録から識別まで、すべてオフラインで動作するという点。クレジットカードを始めカード情報は重要な個人情報であるため、この特徴は重要な意味を持つ。


カードの登録から認識までの基本操作。


ではさっそく、LetSeeAppを使ってカードの判別を試してみる。
LetSeeAppを起動して画面を2本指ダブルタップすると設定画面が開く。「CARD RECOGNIZER」の項目が、カード認識関連の設定だ。
※本記事での操作方法は、基本Voiceoverをオンにした状態のものです。

まずは認識させるカードを登録する。
無料版で登録できるカードは5枚まで。App内課金すれば(120円)25枚まで登録可能になる。

  1. 「Register new card」を操作。
  2. 「Name」にカードの名称を入力。音声が日本語の読み上げに対応していないため、必ず半角英数で入力する。
  3. 「Take a Picture」ボタンを操作し、iPhoneをカードにかざせば自動的に輪郭を認識して写真を撮影し、カードが登録される。

登録したカードの管理は「Manage cards」で行う。ここでは登録したカードの認識を一時的に無効化したり、登録したカードの削除や一括クリア処理が行える。

  1. 「Manage cards」ボタンを操作。
  2. 「CARDS RECORDED」に登録済みのカードがリストアップされる。それぞれのカードを操作すると、そのカードの認識をオン/オフできる。
  3. またローターのカスタムアクション(上下スワイプ)からそのカードの削除が行える。
  4. 「Wipe card database」ボタンを操作すれば、登録したカードを一括削除できる。

設定画面を閉じてLetSeeAppのメイン画面に戻ったら、画面を左右にスワイプ。「CARD RECOGNIZER」と読み上げられたらダブルタップしてカード認識モードを起動する。うまくモードが切り替わら無い場合は一度Voiceoverをオフにして試してみよう。
そして認識させたいカードにiPhoneをかざすと、登録したカード名称がリアルタイムに読み上げられる、はず。


使いこなすにはちょっとコツが必要?


手持ちのカードをいくつか試したところ、クレジットカードやキャッシュカードはもちろん、ポイントカードも登録できた。おそらく長方形であれば、カードの輪郭を認識して登録してくれるようだ。ただ現時点ではカードの裏表をセットにして登録することはできない(それっぽい項目は用意されているようだがまだ機能しない)。
また試しに機内モードをオンにした状態でカードの登録から認識まで実行したところ、問題なく動作した。セキュリティ的に完全に安全かどうかは断言できないが、少なくともオフラインで使えることは確認できた。

さて肝心の認識精度だが、結構微妙といった印象。
うまく認識できるかどうかは、カードを登録する時の画質に大きく左右されている感じのようだ。登録時の撮影がオートなので、照明などを事前に確認しておいた方が良いかもしれない。
また登録したカードによっては手で持っているとダメだったり、上下逆さまだと認識できない、といった現象も見られた。またカードを認識させる時も、カードからiPhoneをゆっくり離したり左右に動かす、傾けるなどの工夫をすることで認識される場合もある。
スムーズに利用するためには、カードを登録・認識する時のコツを掴む必要があるかもしれない。

色々文句っぽいことも書いたが、条件さえ揃えば、間違えることもなくカードを判別できる。日常的にサッと取り出して識別するには厳しいかもしれ無いが、自宅などでゆっくりカードを分別する時など、このアプリを使えばクラウド型OCRアプリを用いるより安全にカードの判別ができるようになると感じた。

視覚障害者を支援するアプリは数多くリリースされているが、どうしても機能優先でユーザーのセキュリティやプライバシーの問題は軽視される傾向にあるように思う。そのような意味でも、LetSeeAppは(完全に安全かはわからないが)比較的安心して使えそうなアプリかもしれない。
今後も機能の強化などが予告されており、アップデートに期待したい。

関連リンク:


0 件のコメント:

コメントを投稿

注: コメントを投稿できるのは、このブログのメンバーだけです。

米国マクドナルド、同社のキオスク端末に「JAWS Kiosk]を導入。視覚に障害があっても音声を用いた操作で注文から支払いまでを単独で実行可能に。

画像引用元: TPGi 米国マクドナルドは2021年9月9日、、支援技術ディベロッパーであるVispero社とと提携し、同社が運営する直営店およびフランチャイズ店舗に設置されているキオスク端末に対し「 JAWS Kiosk 」テクノロジーを採用したことを発表しました。 なおここで...