Seeing AI 2.3 リリース。フォトライブラリの解析が可能に。

フォトライブラリの写真にAIによる説明を付加

マイクロソフトのiPhone用視覚障害者向け画像認識アプリ「Seeing AI」が、バージョン2.3にアップデートされました。

Seeing AIの紹介記事はこちら。

バージョン 2.3の新機能：

• Seeing AI now lets you browse photos on your phone, including hearing descriptions of the objects, people, text, and location. We appreciate your early feedback as we continue to develop this feature. Select "Browse Photos" from the menu.

• Optimized performance when recognizing photos shared from other apps.

• Now available in 18 new countries, bringing availability to 70 countries: Albania, Ghana, Iceland, Israel, Jordan, Kenya, Liberia, Madagascar, Macedonia, Nigeria, Norway, Papua New Guinea, Russia, Sierra Leone, South Africa, Switzerland, Tanzania, Zimbabwe.

今回のアップデートで、iPhoneの写真ライブラリに保存されているイメージの解析に対応しました。

使い方は、「Menu」＞「Browse Photos」をタップ。写真が日付順にリストアップされるので、認識させたい写真を開きます。

Voiceover操作ならダブルタップです。写真を開くと解析処理が開始され、写真の説明が読み上げられます。説明は英語です。

「More」ボタンで撮影地などを参照、「Share」で写真の共有。「Delete」で写真を削除できます。

解析画面で左右スワイプ（Voiceovewr操作なら３本指スワイプ）すれば、前後の写真に移動し、イメージが解析されます。

一度解析した写真は解析結果が保存され、サムネイルにカーソルをフォーカスするだけで、写真の説明が読み上げられるようになります。カメラで撮影しておいた写真をメールやSNSへ送る時に、この機能を使えば送信ミスが防げるかもしれません。写真の解析にはネットワーク接続が必要なので、事前にWi-Fi環境で写真を解析しておき、外出先で利用するという使い方もできるでしょう。

「Re analize」ボタンで写真の解析をやり直すことも可能。例えば顔認識で新しい人物を登録すれば、解析し直すことで、人物名が説明されるようになります。

これまではカメラで撮影したイメージしか解析できませんでしたが、これで活用の幅が大きく広がりそうです。

視覚障害者に便利なiPhone用OCRアプリ （２） 検証編

それぞれのOCRアプリの実力をチェック

前回のエントリーで、視覚障害者がテキストを読むのに使えるiPhone用OCRアプリについてご紹介しました。

※前回のエントリー（紹介編）はこちら。

個人的にピックアップした5つのアプリについて、基本的な機能と操作方法について書きましたが、本エントリーでは、それぞれのアプリのテキスト認識精度や使い勝手などについて比較・検証して見たいと思います。

ちなみに使用した端末は、iPhone 7)128 GB)、iOS 11.4です。

検証した内容は以下の4項目。

・テキスト抽出の精度

・操作性

・テキストのエクスポート

・屋外での利用

※このエントリーは筆者の環境下での結果を元に執筆しています。全ての状況において検証内容を保証するものではありません。あくまでも参考としてお読みください。

気になるテキスト認識の精度を検証

OCRアプリである以上、テキストの認識精度は真っ先に気になるポイントでしょう。

今回検証に使用した原稿は、株式会社ラビットが輸入・販売する計測器「テープキング」のパンフレットです。昨年秋のサイトワールドでゲットしたもの。

（多分）同じものがPDFで後悔されています。音声だけで確認しましたので若干改訂されているかもしれません。

まとまった文章の塊ではあまり差が出ない可能性があるので、ややイレギュラーなレイアウトのものを選びました。日本語、英語、記号、数字が混在しているのもポイントです。

スキャンには自作の撮影台を使用。窓からの自然光と蛍光灯デスクライトを補助光として当て、3回スキャンし、もっとも精度がでた結果で比較しました。

では各アプリで抽出したテキストを見て見ましょう。

抽出テキストは、出力されたまま、無加工で掲載しています。

・Seeing AI

＜抽出文字数：279字＞

他アプリと比べると、精度はやや低い印象です。取り込めない文字も多く、認識ミスも目立ちます。

原因として考えられるのは、まだ正式に日本向けのローカライズが施されていないため。チューニング不足なのかもしれません。むしろ、ローカライズされていない状態でここまで認識してくれるのが凄いと考えることもできるでしょう。

抽出結果ここから─────────

計水契日常生活用具補品

【標準小売価格】

27.000円(税別) 【仕様:

【機能】

・測定( Imm••5rn)

・ケースを含む測定

・メモリー合計

(第人18n1) 定・履歴(10回分)

・差貨測定斜計/水平器

(0~ 180度)

・水平器角度補正

・音量(1~ 10段階)

・電池残量(%)

【製造元】Care Tecはd.

【輸人販売元】株式会社ラヒット

〒169-00/5 東京都新宿区高田馬場1-29-7 スカイバレスヒル401

「「日! 03 -5292-5544 [FAX] 03-5292-5 5 ぽ- Mail]曰gyo@尾ししト【okyo.(o.jp ハ択いhttp :〃いhしt -:okyo.(0.ル

抽出結果ここまで─────────

・OCR

＜抽出文字数：452字＞

認識精度は非常に高く、改行が適切に挿入されるので、聞き取りやすいテキストが生成されています。表の内容が少しわかりにくいですが、文字の認識ミスも少なく、抽出したテキストを再利用する用途でも十分実用的に使えそうです。

抽出結果ここから─────────

テープキング

Tape King

傾斜計/水平器

音声メジャー

日常生活用具候補品

「長さ」と「角度」を

音声で読み上げます

Tape K

【標準小売価格】

27,000円(税別)

【仕様】

1本体寸法/質量

!高さ75mm ×横幅103mm ×奥行33mm

280g (電池含めず)

メートル法

測定(1mm~5m)

·ケースを含む測定

·メモリー合計

測定単位

測定誤差

測定最大距離

(最大100m)

5m

単4形乾電池(2本)

1年間

テープキング本体、単4形乾電池(2本)ポーチ、

測定値履歴(10回分)

差異測定

·傾斜計/水平器

(0~180度)

水平器角度補正

·音量(1~10段階)

電池残量(96)

保証期間

取扱い説明書

(墨字·デイジーCD)

保証書

、

【製造元】 Care Tec Ltd

【輸入販売元】株式会社ラビット

〒 169-0075

東京都新宿区高田馬場1-29-7

お問い合わせ

ご用命は

·

スカイパレスビル40

[FAX] 03-5292-5645

[E-Mail) eigyo@rabbit-tokyo.co.jp

[URL] http://rabbit-tokyo.co.jp

抽出結果ここまで─────────

・Google翻訳

＜抽出文字数：479字＞

こちらも認識精度はかなり性格。ただ、抽出された文字が改行なしで出力されるため、内容によってはVoiceoverでの読み上げに影響する場合があります。また、内容を理解するには支障ありませんが「OCR」と比べ、いくつかの文字が誤認識されています。

抽出結果ここから─────────

テキングTape King傾斜計/水平器音声メジャー日常生活用具候補品「長さ」と「角度」を音声で読み上げますTape king【標準小売価格】27,000円（税別）【機能】・M定（1mm～5m）・ケースをau測定メモリー合計【仕様】本体寸法/質量|高さ75mm x横幅103mm x奥行33mm測定単位測定誤差280g（電池含めず）メートル法±1mm（最+大100m）測Emme（10回分）1：測定最大距離！5m電源保証期間付属品【製造元】Care Tec Ltd.【輸入販売元】株式会社ラピット単4形乾電池（2本）1年間テープキング本体、単4形乾電池（2本）ポーチ取扱い説明書差異測定usa計/水平器（0～180度）器角度補正l（1-10段匍池ul（％）1（墨字・デイジーCD）保証書、お問い合わせ・ご用命は169-0075東京都新宿区高田馬場1-29-7スカイパレスビル401 ITEL] 03-5292-5644 [FAX1 03-5292-5645 E-Mail] eigyo@rabbit-tokyo.co.jp TURL] http://rabbit-tokyo.co.jp

抽出結果ここまで─────────

・スキャナー＆翻訳者

＜抽出文字数：487字＞

こちらも性格。一部文章が前後している部分もありますが、内容を把握するには十分の品質で認識しています。一部の文字で認識ミスが見られますが許容範囲。重箱の隅を突くようでアレですが、誤認識は「Google翻訳」より若干多いかも…。

抽出結果ここから─────────

テープキング Tape King 音声メジャー 傾斜計/水平器 日常生活用具候補品 「長さ」と「角度」を 音声で読み上げます ㄇㄇ Tape K 横幅 奥行: 【標準小売価格】 27,000円(税別) 【仕様】 本体寸法/質量 測定単位 測定誤差 | 高さ75mm ×横幅103mm ×奥行33mm 280 g (電池含めず) メートル法 【機能】 ·測定(1mm~5m) ケースを含む測定 メモリー合計 ± 1mm (最大100m) 測t値履歴(10回分) 差異測定 "傾誠計/水平器 |測定最大距離 15m 1電源 単4形乾電池(2本) 1年間 テープキング本体、単4形乾電池(2本)ポーチ 取扱い説明書(墨字·デイジーCD) 、保 書 保証期間 (0~ 180度) ·水平器角度補正 |付属品 音量(1-10段匍 電池残. (96) 【製造元】 Care Tec Ltd. ( お問い合わせ· ご用命は ゜売元】株式会社ラビット 〒 169-0075 東京都新宿区高田馬場1-29-7 スカイパレスビル401 [TEL] 03-5292-5644 [FAX) 03-5292-5645 [E-Mail] eigyo@rabbit-tokyo.co.jp URL] http://rabbit-tokyo.co.jp  

抽出結果ここまで─────────

・Text Grabber 6

＜抽出文字数：375字＞

筆者が試した範囲では、認識時に必ず「Unable recognize image」の警告メッセージが表示されます。そのまま「Continue」をタップしてテキスト抽出を行いました。その影響があるかどうかは不明ですが、文字の認識ミスも多く、内容全体を把握するのは難しい感じです。設定や撮影環境のチューニングが足りない可能性も考えられるため、参考データとしてお考えください。

抽出結果ここから─────────

プキンン 

びグぬパ 

音声メジヤー傾斜計/水平器 

れ活尾具―參 

【ゆ卜ほ1 

27,000円(税別う 【―1 

’ほれの》 

.ケースをほ 

’ 乂モジー, 1) 

.,僵―じ0.) 

まぽ縱 

・め/氷平謹 

(卜1肋度) 

, 水平器角度補正 

‘音龍じ～10ゆ》 

.の陶 

幽 

【仕様】 

本体寸法/質置 

覇定単位 

覇定誤差 

覇定―祖維 

探.園 

付飄參 

高さフ5口①X横幅103ロロ X奥行33の口 2809 (電池含めず)一 

単4形乾―じ本) 

テープキング本体、単4形乾電池ね本)ポーチ 取极い説明書僅字’デイジー〔り)、保証書 

む『6て6 1株式会社: 

:ラピツト 

【輪入販売元】： 

〒169-0075 

―都新宿区高田―レ29-フ 

スカイノ【レスピル恥1 

口し】03-5292-5… 

げぐ03-5292-5ね5 

【6’”8”】6か0@巧ゆ改-―0’ 口‘ル 牌し】ね如://口じ滅’ま0’ゆル 

お問い合わせ’ご用命は 

辟 

る 

ル'ハ. 

徐り 

錢

抽出結果ここまで─────────

○感想　性格さと読みやすさで優れている「OCR」

テキストの認識精度は「OCR」「Google翻訳」「スキャナー＆翻訳者」の3アプリはほぼ同等レベルの結果となりました。微妙な違いは、照明の微妙な当たり方や、撮影時の手ブレなどの影響もあるため、OCR性能の違いかどうかの判断は難しい気がします。

この中でも「OCR」は、抽出されたテキストに適切な改行が入れられており、Voiceoverで読み上げても読み崩れが少なく内容を理解しやすいと感じました。他の2アプリは抽出した文字をつなげて、一定の文字数で改行が入るため、行の切れ目で読みがおかしくなるケースがあります。

「Seeing AI」はまだローカライズされていないため、この結果だけで実力を判断するのは早計でしょう。一方「Text Grabber 6」も、変換する時にメッセージが表示されたため、この結果がベストパフォーマンスかどうか、判断が難しいところです。

OCRアプリの一般的な用途は「文字おこし」ですが、視覚障害者にとっては、重要な情報が漏れていなければ多少文字化けしていても意味がわかればオーケー。そういう意味では、冒頭に挙げた3アプリなら困ることはないでしょう。Voiceoverで読みやすいという点で「OCR」が一歩リードといったところでしょうか。

快適に使うためのアプリの操作性

せっかく高性能なアプリも、操作性が悪ければそのポテンシャルを生かすことができません。「視覚障害者が文字を認識させる」という使い方に絞って、各アプリの操作性を検証して見ましょう。

アプリを起動してからテキストを抽出するまでの工程数を比較しつつ、Voiceoverで快適に操作できるかを、あくまでも筆者の主観ではありますが比較して見ます。

・Seeing AI

＜起動から抽出：1～2タップ　撮影に戻る：1タップ　再撮影：0～1タップ＞

操作性では群を抜いて使いやすいアプリです。起動時に「Channel」を「Document」に設定して仕舞えば、自動的に撮影してくれるのはとても快適です。若干、ナビゲーションがへんてこな時もありますが、これはAIの学習が進めば解決するでしょう。

一般向けのOCRアプリは撮影した後に、写真を確認したり切り抜きする画面に遷移することが多いのですが、視覚障害者をターゲットにした文字認識に特化したことで、そのプロセスが省略されています。

長時間使うとiPhoneが熱くなるのを除けば、理想的な操作性です。

・OCR

＜起動から抽出：3タップ　撮影に戻る：1タップ　再撮影：3タップ＞

OCRアプリとしては、オーソドックスな操作性です。操作が引っかかることもなく、スムーズに使えます。

ただ、必要なボタンまでVoiceoverカーソルを動かすのに手間取る（位置が微妙）ことがあるため、位置を覚えてスプリットタップで使う方法が便利かもしれません。

・Google翻訳

＜起動から抽出：3タップ　撮影に戻る：1タップ　再撮影：2タップ＞

こちらもテキスト抽出までのプロセスはスムーズです。「スキャン」をタップしてテキストを抽出した後、なかなか「全てを選択」ボタンにフォーカスしないことがあるので、この点は慣れが必要かもしれません。

・スキャナー＆翻訳者

＜起動から抽出：3タップ　撮影に戻る：2タップ　再撮影：2タップ＞

手順そのものは特別難しいことはありませんが、写真を解析するボタンにラベルがついていないので注意。カスタムラベル（２本指ロングタップ）を付けておきましょう。

また保存しているデータが増えてくるとアプリの動作が重くなったり、データを消しても動作が重買ったりと安定性に少し不安が残ります。

・Text Grabber 6

＜起動から抽出：2～4タップ　撮影に戻る：2タップ　再撮影：2～3タップ＞

タップ数に幅があるのは、筆者が試すと、「Done」ボタンをタップした時に、警告画面が出ることが多かったためなのです。

操作性は、起動時にVoiceoverカーソルがシャッターボタン（ファインダー）に位置付けされており、Cameraモードに設定されていればすぐ撮影できます。また編集画面の「Done」ボタンもカーソルを動かさずに押せます。Voiceoverユーザーに優しい作りですね。でも抽出結果から撮影画面に戻るのにスクラブが使えないのはちょっと不便。この辺りの徹底が望まれます。

○感想　理想形に近い「Seeing AI」

もともと視覚障害者向けとしては開発されていないアプリが多いため、操作性についてはユーザーの慣れが必要かもしれません。その中でも「OCR」と「Google翻訳」は、Voiceover環境でもストレスが少ないように感じます。「Text Grabber 6」もVoiceoverユーザーを意識している雰囲気はあるのですが、なにぶん筆者の環境ではエラーが出まくるので素直に判断できないのが悩ましいところです。

そう考えると、視覚障害者の利便性を最大限に考慮した「Seeing AI」は、別次元の操作性を実現しています。一般向けのアプリでここまで割り切った仕様にするのは難しいとは思いますが、編集画面をスキップできるようになるだけでも格段に使いやすくなると思うのですけれど…。どうでしょうかね？

抽出したテキストをメールで送る

アプリで抽出したテキストを、ほかのアプリやパソコンで使用するための「共有」機能を比べて見ましょう。

ここでは、テキストをメールで送信するケースに絞りました。

・Seeing AI

テキストが抽出できたら「Share」ボタンをタップし、イメージもしくはテキストを他のアプリなどへ共有できます。

テキストをメールで送信すると、「Document.html」というファイルが添付され、これを開いて抽出したテキストを利用できます。見出しが自動的に判別されタグがつけられるので、まとまった文章を取り込むのに便利でしょう。

・OCR

テキストが抽出されたら「保存」をタップし、名前をつけて保存します。するとメール送信ボタンが出現。これをタップしてメールを送ると、抽出されたテキストが、プレーンテキスト形式で添付されます。

・Google翻訳

このアプリには、抽出されたテキストを共有する機能はありません。テキストを全選択してコピーするか、Voiceover読み上げの間に「3本指4回タップ」でテキストをペーストボードにコピーし、メール本文にペーストして送信します。

・スキャナー＆翻訳者

抽出できたら「BTN Sharing」をタップして、コピーもしくはメールで送信、またはDropbox保存（アプリ連携が必要）できます。メール送信は、本文にテキストがそのまま入る形式。2回目以降は前回送信したアドレスが記憶され自動的にセットされるのが何気に便利です。

・Text Grabber 6

「Share」をタップして、各種アプリなどへ共有できます。メール送信は、本文に抽出されたテキストが入る形式。

○感想　長文の取り込みなら賢い「Seeing AI」

あまり使う機能では無いかもしれませんが、この記事執筆にあたり一通り使って見たのでまとめて見ました。

「Seeing AI」と「OCR」が、抽出したテキストを添付ファイルで送ってくれるのは、テキストを再利用する上で結構便利では無いかと感じます。

特に「Seeing AI」で、自動的にタグ付けしてくれるのは、スキャンするドキュメントの内容によってはかなり使えるのでは無いでしょうか。

外出先で使うのにベストなのは？

視覚障害者の目の代わりとして活躍してくれるOCRアプリ。外出先でも、お店で商品を確認したり、表示板の内容を読むなど、便利に活用することができます。

Text Grabber 6以外のアプリは、画像を解析するためにネットワーク接続が必要。外出先では必ずしもWi-Fi接続が可能ではありません。Wi-Fiが使用できない場合は、モバイルデータ通信（4G）接続で使用することになります。そこで、各アプリの4G接続でのレスポンスを調査して見ました。

テストした場所は、電波強度が4本中2本とあまり良い環境では無いため、場所によってはもう少しレスポンスは早いかもしれません。上記のテキスト抽出で使用したパンフレットを3回スキャンし、画像解析にかかった時間を計測しました。

なお4G接続で使用するには、「設定」にある各アプリの設定にある「モバイルデータ通信」を有効にします。

・Seeing AI

＜やや長い：18 ～ 28 秒くらい＞

意外と処理に時間がかかります。30秒くらいでタイムアウトになるため、通信環境によっては使えない可能性があります。

・OCR

＜長い：35 ～ 50 秒くらい＞

かなり処理に時間が必要でした。テキスト抽出の品質が高いのは、送信しているデータ量がそれだけ大きいということなのかもしれません（想像です）。実用的に使うにはWi-Fi接続が必須という印象を持ちました。

・Google翻訳

＜短い：8 ～ 15 秒くらい＞

今回検証した中では、最もレスポンスが高速。翻訳アプリの性格上、屋外での利用がしっかり考慮されているのかもしれません。

・スキャナー＆翻訳者

＜やや短い：15 ～ 24 秒くらい＞

Google翻訳ほどではありませんが、意外とレスポンスは高速。4Gで使う場合、処理開始時に１回だけ確認画面が表示されるので「却下」をタップします。このくらいの処理時間なら、なんとか実用できそう。

ただインターフェイスがもたついてタイムロスすることもしばしば。

・Text Grabber 6

＜Wi-Fi環境と同様＞

このアプリはオフラインでテキスト抽出を行うため、外出先でもレスポンスは変わりません。

○感想　外出先なら「Google翻訳」

体感的には、4G接続で実用的なのは「Google翻訳」と「スキャナー＆翻訳者」。でした。「OCR」は極端に時間が掛かる印象。最近はコンビニなどでWi-Fi接続サービスを提供しているので、そちらと併用する方法もアリでしょう。この検証で、OCR専用アプリと翻訳アプリでは、想定されている使い方が異なっていると感じました。

また、Wi-Fiも4Gも使えない場所なら「Text Grabber 6」一択です。

外出先で使用する場合、もうひとつチェックしたいのが、スキャン時のシャッター音。「Google翻訳」以外のアプリでは、撮影時にシャッター音が鳴り、イヤホン使用時でもiPhone本体からシャッター音が鳴り響きます。多少ざわついた場所なら気になりませんが、静かな店内などで使う場合は「Google翻訳」が向いています。

商品の確認に限れば、「Seeing AI」のバーコードスキャンが日本対応してくれれば、かなり便利になるのではと期待しています。

結局、TPOに合わせて使い分けるのが良いという結論

ここまで、視覚障害者が便利に使えるOCRアプリについて紹介・検証してきました。

結論として、どのアプリが一番なの？という疑問もあるかと思いますが、ここまでお読みいただければわかるように、それぞれのアプリに得手不得手があリマス。

使用目的や環境に合わせてアプリを使い分けるのが現状ベターかなと思います。

紹介した5アプリの特徴を一言でまとめると、

・Seeing AI

手軽さが魅力。自宅でのちょっとした書類判別に。

・OCR

認識精度は抜群。自宅でじっくりOCR処理するのにピッタリ。

・Google翻訳

屋外での文字認識では色々な意味で便利。

・スキャナー＆翻訳者

クラウド経由で画像を取り込み、テキスト抽出できる。

・Text Grabber 6

オフラインで使える強み。いざという時にあると安心。

…という感じになるでしょうか。

iPhone持ちの視覚障害者で、まだOCRアプリを使ったことがない方、他のOCRアプリを試して見たい方の参考になりましたら幸いです。

長文おつきあいいただき、ありがとうございました。

※この記事はiOS 11.4で執筆しました。

視覚障害者に便利なiPhone用OCRアプリ（１）紹介編

iPhone持ちの視覚障害者は必携

視覚障害者がスマートフォンを使うメリットは数多くありますが、その中でも個人的に大きいのが、印刷された文字を認識してテキストデータに変換してくれる「OCR」アプリの存在です。

郵便物や商品パッケージの文字を、そのまま読むことができない重度視覚障害者でも、OCRアプリとスクリーンリーダーを利用することで、完全に正確な情報ではなくても、大雑把にそれがどのようなものなのかを判別することができます。これは、有ると無いとでは情報アクセシビリティ的にも非常に大きな違いがあります。

スマートフォン向けには多種多様なOCRアプリがリリースされていますが、今回はその中で、視覚障害者が日常的に使えるものをピックアップしてご紹介します。すべてiPhone向けのもので、Voiceoverでの操作を確認しています。

紹介するのは以下の5本。

・Seeing AI

・OCR

・Google翻訳

・スキャナー＆翻訳者

・Text Grabber 6

それぞれのアプリの基本的な使い方と特徴を見て行きましょう。

なお、画面を見ずにVoiceoverだけで操作することを前提にした紹介と鳴りますので、見た目での操作とは若干の違いがあるかもしれません。ボタンなどの名前は、Voiceoverで読み上げた内容を記載しています。

ご了承ください。

「Seeing AI」：撮影がとにかくラク。

Seeing AI

開発／Microsoft Corporation 価格／無料（広告なし）

バージョン／2.2.0

○起動と設定

アプリを起動したら、[Channel」から「Document」を選択します

・使い方

1.書類にiPhoneをかざすと、書類がきちんと写真に収まるように音声でナビゲートしてくれます。例えば「Top edge visible」とアナウンスされた場合、書類の上端が切れているので、iPhoneを少し上に向けます。Right（右）、Left）左）、Bottom（下）、Top（上）それぞれの端を識別します。

「Hold steady」とアナウンスされたら、iPhoneを動かさずに少し待てば、シャッター音が鳴り書類がスキャンされます。

また商品パッケージなど明確な端が無いものをスキャンするときは、大体の位置で「Take picture」ボタンで撮影を行えます。

2.文字認識には、ネットワーク接続が必要です。認識処理が完了すれば、抽出されたテキストが表示されます。テキストが認識できない場合は「No text recognized」と読み上げられます。

抽出されたテキストはVoiceoverで読み上げる他、内蔵のスピーチ機能でも読み上げます（ただしこの場合は日本語は非対応）。

3.「Close」をタップすルカ、Voiceoverのスクラブジェスチャで、、次のスキャンに移れます。

○そのほかの機能

履歴保存：不可

インポート：不可

○特徴など

視覚障害者のために開発された、画像認識アプリです。書類スキャンの他にも、商品バーコードや人物の認識などさまざまな機能が含まれていますが、現時点ではまだ日本語には対応していません。ただ書類スキャンだけは日本語の認識が可能です。最大の特徴は、書類を撮影するときに、リアルタイムでナビゲートしてくれる機能でしょう。カメラが書類を捉えられずスキャンできないといった失敗を防げます。機能はテキストの認識に特化しており、翻訳や履歴の保存などには対応していません。非常にシンプルです。

「OCR」：その名の通りシンプルなOCRアプリ

OCR

開発／Gen Shinozaki 価格／無料（広告あり）

バージョン／1.03

○起動と設定

アプリを起動したら、設定なしですぐに使い始められます。

○使い方

1.トップ画面から「カメラ起動」をタップします。

2.撮影画面になります。書類にiPhoneを向けて「写真を撮影」ボタンをタップしてスキャンします。シャッター音が鳴ります。

3.写真の確認画面が表示されます。「写真を使用」をタップして、テキストの認識処理を実行します。文字認識にはネットワーク接続が必要です。

4.認識けっかが表示されます。「OCR」という見出し項目の次がテキストフィールド担っているので、ここにVoiceoverカーソルを合わせれば読み上げてくれます。なお、テキストが認識されない場合は問答無用でトップ画面に戻されるので、慌てずもう一度撮影して見ましょう。

5.「戻る」ボタンをタップするか、Voiceoverのスクラブジェスチャでメイン画面に戻り、次のスキャンに移ります。

○そのほかの機能

履歴保存：認識結果画面から「保存する」をタップすれば、メイン画面の「履歴」から抽出したテキストの履歴を参照できます。

インポート：メイン画面で「写真を選ぶ」をタップすると、iPhoneに保存されている写真からイメージを読み込んで認識できます。

○特徴など

テキスト抽出に特化したシンプルなスキャナアプリ。日本語のインターフェイスで利用できる安心感があります。

「Google翻訳」：OCRアプリとしても人気が高い

Google 翻訳

開発／Google, Inc. 価格／無料（広告なし）

バージョン／5.20.1

○起動と設定

起動するとまず「ホーム」画面が表示されます。

「元の言語」を「日本語」に設定しておきます。

トップ画面にある「リアルタイムカメラ翻訳」をタップし、カメラからのスキャン機能に切り替えます。

○使い方

1.カメラ画面になるので、書類にiPhoneを向けて「スキャン」をタップします。シャッター音は鳴りません。

2.認識処理が開始され、テキストが認識されたら「すべて選択」をタップします。なおGoogle翻訳はオフライン翻訳にも対応していますが、写真からのテキスト認識にはネットワーク接続が必要です。

3.抽出されたテキストが表示されます。テキストは「翻訳言語」と読み上げられる次のテキストフィールドに表示されているので、ここにVoiceoverカーソルを移動させると読み上げられます。なお、少ししたには翻訳されたテキストも表示されています。

4.「戻る」をタップするか、Voiceoverのスクラブジェスチャでカメラ画面に戻り、次のスキャンができます。

○そのほかの機能

履歴保存：抽出されたテキストと翻訳結果は自動的に保存され、ホーム画面のトップから参照できます。この履歴にスターをつけると「保存済み」タブに常時保存されます。

インポート：カメラ画面の「インポート」をタップすれば、iPhoneの「写真」に保存されている写真を取り込んでテキストを抽出できます。

○特徴など

さまざまな方法で翻訳が行えるアプリ。カメラを使用した文字認識機能を使えば、OCRアプリとしても十分活用できます。リアルタイムでテキストを認識し、タップで翻訳する機能もありますが、画面の見えないユーザーにはあまり使えないかもしれません。今回紹介しているOCRアプリの中では、唯一シャッター音が鳴らないのも特徴の一つといえるでしょう。

「スキャナー＆翻訳者」：協力なインポート機能

スキャナ＆翻訳者

開発／DataCom 価格／360円

バージョン／4.0

○起動と設定

起動するとカメラ画面にナリマスガ、まず最初に「Take photo」の次にある「Camera」ボタンをタップして、カメラスキャンモードに設定しておきます。

○使い方

1.カメラ画面で書類にiPhoneを向け「Take photo」ボタンをタップして写真を撮影します。シャッター音が鳴ります。

2写真の編集画面になります。「Source language picker」の隣のボタンが、テキスト抽出処理を実行するボタンです（ラベルが付けられていないかもしれません）。このボタンをタップします。もしこのボタンが見当たらない場合はもう一度「Camera」ボタンをタップして見ましょう。また、このアプリを購入して初めて使うときは「Source language picker」をタップして、日本語を選択しておきます。

3.テキストの抽出にはネットワーク接続が必要です。テキストが抽出されると、「BTN shareing」の隣のテキストフィールドにテキストが表示されます。テキストが見つからない場合は「Text not found」とダイアログが表示され、「OK」をタップすると編集画面に戻ります。

4.次のスキャンを開始するには「Back」ボタンを２回、もしくはVoiceoverのスクラブジェスチャを２回操作します。

○・そのほかの機能

履歴保存：スキャンされた写真と抽出したテキストは、メインメニューの「Scans」「Text」から参照できます。

インポート：カメラ画面の「Import photo」をタップすると、iPhoneの写真ライブラリーに保存された写真に加え、iCloud、Dropbox、Google Driveアプリとリンクしてイメージファイルを読み込み、テキスト抽出処理を行うことができます。

○特徴など

インターフェイスがやや独特で、ラベル付けされていないボタンがあるなどVoiceoverではやや使いこなすのにコツが必要ですが、クラウドサービスからのインポート機能は大きな魅力です。抽出したテキストの翻訳機能もあります。

一つ注意が必要なのは、このアプリは、スキャンした画像を自動的に保存するので、定期的に「Scans」を開いて不要なファイルを消去しないとアプリが重くなります。また設定の「Image autosave」と「iCloudsync」もオフにしておきましょう。いつの間にかiCloudストレージを章ひしてしまいます。

「Text Grabber 6」：オフライン対応。定評のあるOCRエンジンを搭載

TextGrabber 6

開発／ABBYY 価格／600円

バージョン／6.8.4

○起動と設定

初めて使うときは「Enabled recognition language」をタップして、「Japanese」を追加しておきます。

○使い方

1.「Camera」タブをタップしてカメラモードに切り替えたら、書類にiPhoneを向けて「View finder」をタップして撮影します。シャッター音が鳴ります。

2.編集画面に切り替わるので「Done」をタップします。

3.テキストの抽出処理が実行されます。このアプリは、オフラインでもテキストの抽出ができます。テキストが認識されないと「Unable recognize image」のダイアログが表示されます。ただこのダイアログに「Continue」ボタンがあれば、これをタップして抽出結果にアクセスできます。抽出されたテキストは「Share」ボタンの次にあるテキストフィールドに表示されているので、Voiceoverカーソルを合わせて読み上げることができます。

4.次のスキャンを行うには、「Back」＞「Cancel」と押してカメラ画面に戻ります。Voiceoverのスクラブジェスチャは使えませんでした。

○そのほかの機能

履歴保存：抽出結果画面の「Save」をタップしてテキストを保存し、トップ画面の「Notes」タブから参照できます。

インポート：トップ画面の「Album」をタップして、iPhoneの写真ギャラリーからイメージを読み込み、テキストの抽出ができます。

○特徴など

OCRエンジンがドキュメントスキャナ「ScanSnap」にも採用されているABBYY社のOCRアプリです。今回紹介したアプリの中で、唯一オフラインでテキスト抽出処理ができるのが特徴。カメラ撮影によるOCRのほか、リアルタイム認識やQRコードスキャナ機能も備えています。もちろん、写真から抽出されたテキストの翻訳も可能です。また、時々無料セールを開催しているので、その時を狙うのもオススメです。

次回は各アプリの認識能力と機能を比較

視覚障害者でも使える、iPhone用OCRアプリを5本、ご紹介しました。

他にも「Office Lens」や「Adobe Scan」など高性能なOCR機能を搭載したアプリもありますが、今回はちょっとした書類や商品パッケージなどをスキャンして即時に抽出したテキストを読み上げられるものをチョイスしています。

長くなってしまいましたので、次回の記事で、肝心の「文字認識精度」や使い勝手を中心にレビューしていきたいと思います。

※この記事はiOS 11.4で執筆しました。

駅構内での歩行訓練を受けました

視覚障害者の歩行に欠かせない「歩行訓練」

視覚障害者にとって、単独での移動は大きな課題の一つです。もちろん残存視力の程度や見え方などにより不自由さは異なりますが、白杖を使って目的地まで安全・確実に歩行するにはそれなりのテクニックが必要となります。少なくとも全盲に近い重度の視覚障害者が、何の手助けもなく一限の場所に到達するのは、不可能ではないにしろ相当の経験が必要でしょう。

近年では点字ブロックの整備やスマートフォンなどを利用したナビゲーションの登場で少しずつ環境は改善されていますが、視覚に頼らない歩行方法や、白杖を駆使して危険を回避するテクニックは身につけておかなければなりません。

そのような白杖歩行の基本を身につけられるのが「歩行訓練」という福祉サービスです。

歩行訓練は視覚障害者支援施設が提供するサービスのひとつ。白杖の使いかたに始まり、視覚以外の感覚を駆使した歩行方法、さらにあらかじめ設定した歩行ルートを実際に歩き、道順を脳内のマップに記録するまでを訓練してくれます。

筆者は2017年夏に３か月ほどの訓練を受け、白杖歩行の基本を習得しました。

※前回の歩行訓練の記事はこちら。

今回は引っ越したことで、新しい歩行ルートの確認と、前回は行わなかった鉄道による移動の訓練をお願いしました。新居は駅からほど近く、点字ブロックの整備も進んでいたので、自主トレーニングである程度の単独歩行は可能な状態で訓練を依頼。昨年の訓練で身につけた基本的な歩行テクニックが大いに役立ちました。

なので今回のメインは、駅構内の歩行ルートの習得と、駅ならではの歩行テクニックの訓練がメインです。

なお本エントリーの内容は私の体力や歩き方に基づいて指導いただいたものです。当事者におかれましては、こんな雰囲気なのね、と参考程度にお読みいただき、実際の歩行にあたっては、歩行訓練士のレクチャーを受けることを強くおすすめします。

今回の訓練の目的と内容

今回の訓練は、最寄駅から都内へ出るための電車の乗り継ぎルートの習得が目的です。

大まかな訓練ルートは、

・自宅から最寄り駅までの歩行ルートを確認

・最寄駅から地下鉄（ホームドアあり）に乗車

・乗り換え駅で降車、JR線に乗り換え

・乗り換え駅からJR線（ホームドアなし）に乗車

の往復分です。

JRの駅は上り下りでホームの構造が少し異なるので別々に練習します。

JR駅から先は品川で京浜東北線に乗り換えて秋葉原まで行くのですが、品川乗り換えは以前から単独で乗り換えていたので多分大丈夫。ていうか時間的に訓練受けるのが難しかったのですけどね。

品川での乗降口の情報を教えてもらい、その部分は自主練習することになりました。

訓練内容は、駅構内とホームの歩行ルートの習得、電車の乗り降りがメインです。

駅構内での歩行と白杖の使い方

自宅から駅までのルートをざっと確認してもらい、いよいよ駅構内の訓練開始です。ここからが本番。外歩行と異なり、階段やエスカレーター、そして駅ホームといったさまざまなギミックが待ち受けています。

歩行の基本は平地での歩行と同じ。

脳内に地図を描いて、音や点字ブロックで自分の位置を確認しながら歩く原則は変わりません。街中に比べ、改札から発信される音響サインや点字ブロックが整備されているので、脳内マップさえ完成すればさほど困ることは無い印象です。それでも訓練士さんとあれこれ確認しながら、駅校内ならではの歩行ポイントを習得しました。

・杖先はできるだけ接地させる

白杖を左右に振って歩くのは同様ですが、下り階段やホームの端をよりクイックに探知するため、杖の先はできるだけ浮かさないのがコツとのこと。

パームチップの白杖が欲しくなりました。

・エスカレーターより階段

エスカレーターと階段が並列になっている場所では、点字ブロックは階段につながっています。無理にエスカレーターに乗ろうとするとノボリクダリを逆に乗るなど事故の元になり危険です。

安全・確実に移動するなら階段がベター。ただ下り階段は手前の警告ブロックをしっかり確認する必要があります。

エスカレーターしかない場合は音を頼りにするか目印を見つけて乗る感じです。これは少し難題ですね。

・階段のの上り下り

階段を探知したら手すりを見つけ、一段先を杖で探知（下りは杖を落とす、上りは次の段に杖を当てる）しながら上り下りします。

・扉の開閉確認

エレベーターやホームドアが開くのを待っている時、周囲の騒音などでドアが開いたかわかりにくい場合があります。

そのような時は、杖先をドアに軽く当て、開いたことを確認したらすぐに引く、という所作が有効です。

・エスカレーター問題

今何かと論争になっている「エスカレーターどっちに乗る」問題。

首都圏では左側に乗るのが通例になっていますが、壁などを伝って乗ると、どうしても右側に乗らざるを得ない場合があります。混雑時はトラブルを避けるためにもできるだけ左に乗る方が良いとアドバイスされました。

右のベルトに触ってもすぐに乗らず、杖を左にふって左のベルトを探して乗る…という感じですが、逆に混雑時にこれやるのも危険な気もします。

これは時と場合によるな…というのが正直なところ。

安全第一ですね。

ホームでの移動方針

さてホームまで到達しました。

訓練士さんと相談し、階段やエレベーターでホームに出たら、あまり移動せずにその位置から乗車し、降りた駅で乗り換え口なり改札口まで歩くという方針にしました。

乗車時はすでに電車を待つ人が点字ブロック付近に並んでいることが多くうろうろ歩くのはちょっと危険。同じ距離を歩くのであれば降車して人並みが落ち着いてから行動した方が安全だし慌てないだろうという計算なのです。時間は少しロスしますが……。

これは見える人とは逆の発想ですね。時間より安全を優先です。

ホームに出たら、乗るホームの点字ブロック（いわゆる「黄色い線」）を確認し、少し内側に下がって電車を待ちます。

電車の乗り降りのポイント

ここが最も神経を使う場面です。

電車が到着したら、まず乗降口を見つけなければなりません。ホームドアがあればホーム柵を辿れば簡単に到達できますが、ホームドアが無い場合は自力で探します。

・点字ブロックを基準に電車に対し直角に接近

・杖先でホームの端を確認。踏み外さないように注意

・杖でホーム端を確認しながら手で車体を辿って乗降口を見つける

・乗車口の正面に立ち、ホームの端を「両足」で確認

・杖で電車とホームの隙間、高低差を確認

・可能なら車内扉横の手すりを持つ

・車内に杖を入れ、乗る場所を杖先で確認（肩幅くらいの範囲）

（上記の所作を「スクリーニング」と呼ぶ）

・スクリーニングした場所に一歩で踏み入れる

雨などで滑りやすくなっている時はちょっと怖いですね。

降車も同様で、乗降口の端を足で確認し、電車とホームの隙間をチェック。ホームをスクリーニングして降ります。私は降りるときは手すりを持たない方がスムーズでした。、

到着地の確認とホームでの歩行

訓練中駅員さんに問い合わせて、

・行きの品川駅での降車位置と階段の位置

・帰りの品川駅の乗車位置と、降車駅の降車位置

を確認して、電車を降りてからのルートを練習しました。。

電車から降りたら、人の流れを聞きつつ安全そうな場所で電車が去るのを待ち、脳内マップにしたがって点字ブロックの内側を杖先で辿りながら目的の乗り換え口へ移動します。

ホームドアの無いホームを歩くのはやっぱり少し怖いですね。

特に島式ホーム（２つの線路がホームを挟んでいる構造）では、点字ブロックの内側と外側を間違える危険性が高く、点字ブロックのどちらに線路があるか随時確認が必要だと感じます。

そのためにも杖先を浮かさずに幅をキープした白杖捌きが重要です。

むしろ脳内マップが完成して歩き慣れたときに、思っていた場所と違う位置を歩いてヒヤリとすることも十分考えられます。肝に命じて歩かねば。

まとめ

というわけで、今回の訓練は２回で終了でした。

後日単独で品川での乗り換えに挑戦しましたが、細かい部分で迷いながらもほぼイメージ通り移動できました。何回か繰り返せば、迷うこともなくなるかな？

慣れたらエキュートで買い物して帰れるようにしたいものです。

繰り返しになりますが、駅での歩行そのものはバリアフリーが進んだこともあって、構内図と点字ブロックの繋がりが頭に入っていれば、大きく迷うことは少ないように感じます。

ただ、階段やホームからの転落という命に関わるリスクは、常に心にとめて歩かねばと思うのでした。

ホームドアの設置も進んではいますが、今日明日で完成するものではありませんからね……。杖先と足裏に神経を集中させて、安全な単独歩行を心がけます。

スマートグラス「OTON GLASS」体験会へ（2月のお話）

OTON GLASSの体験会へ

いま視覚障害者の間で話題になっているデバイスがあります。

その名は「OTON GLASS」。

視覚障害者をはじめとする、目で文字を読むのが困難なユーザーをサポートするスマートグラスです。

だいぶ月日が経ってしまいましたが、去る2018年2月21日、神奈川県ライトセンターで

そのOTON GLASSを体験できるという情報を得ましたので、ガイドヘルパーさんをお願いしてそそくさと二俣川へ出向きました。

余談ですが、この体験会の情報はOTON GLASSの公式サイトで見つけたのですが、開催される数日前になぜかこの情報が忽然と消えていることに気づき、少々焦りました。

神奈川県ライトセンターのWebやメールマガジンでも告知されていないので、もしかして中止？と思ったのですが、直接電話で問い合わせたら開催されるとの返事をいただきました。

14時30分スタートで少し前に到着したのですが、会場は大盛況。体験まちの行列が途切れないほどです。

あまり広く無い会場だったので、もしかしたら混乱を避けるために情報を引っ込めたのかも？と思ってしまいました…。

それだけ注目を集めている製品ということですね。

２台のOTON GLASSが用意されており、行列に並んで10分ほどの短い間ですが体験することができました。

なおOTON GLASSの概要や外観写真などは以下の公式サイトで確認できます。

このブログ記事はだいぶ前の体験会をもとに執筆していますので、最新の製品仕様なども公式サイトでご確認ください。

OTON GLASS - Assisted Reading Smart Glasses

OTON GLASSってどんな端末？

OTON GLASSは、いわゆる「スマートグラス」と呼ばれるメガネ型ウェアラブル端末です。

スマートグラスといえば、VRやAR用途の、レンズの内側にディスプレイを搭載したものを想像しますが、OTON GLASSは映像の代わりに音声を出力するデバイスです。

ハードウェアは、スマホを一回り大きくしたくらいのコントローラーと、カメラを搭載したメガネで構成されており、コントローラーとメガネはケーブルで接続。コントローラーに内蔵されているバッテリーで駆動します。

OTON GLASSを使用するには、Wi-Fiによるネットワーク接続が必要です。体験日の時点では、ユーザーがWi-Fiの設定を簡単に行える機能は搭載していないとのことでした。

外出先のWi-Fiスポットやテザリングでの利用を想定すると、より平易な設定が可能にナルト良いのですが。

カメラのレンズはメガネの中心部分、つまり眉間のあたりについています。左側のテンプル（つる）に２つのボタンがあり、撮影とモード変更の操作が可能。

撮影ボタンを押すと、画像データがコントローラーを経由してクラウドへ送信され、サーバ上でテキストの抽出処理を実行、抽出されたテキストをOTON GLASSに戻し、音声で読み上げる仕組みです。

なお音声はコントローラーの出力端子から再生されます。体験日の時点ではワイヤレスでの音声出力はサポートしていませんでした。

「メガネ型」であることが最大の利点

実際にOTON GLASSを使って見ました。

手にとってまず感じたのが「結構ごつい」。

軽量なんですが、普通のメガネフレームと比べると、かなり大きい印象です。メガネというよりはゴーグル？という感じ。

日常的、特に外出先での利用を考えるともう少しコンパクトなデザインが好ましいのですが、部品の収納とかホールド性能など技術的なハードルがあるのかもしれません。

さて、OTON GLASSを装着して読みたい物をメガネの前にかざします。今回は手に持ったパンフレットを読んで見ましたが、フレームに文字が入っていれば遠くの風景でも認識できるようです。

私はうまく読めなかったのですが、数メートル向こうにいる人の名札を認識して読むこともできたそうです。

テンプルの撮影ボタンを押すとサウンドが鳴り、３～５秒ほど待つと、認識されたテキストが読み上げられました。

（認識にかかる時間はネットワークの状況により変化）

認識に失敗するとエラーのサウンドが再生されます。

肝心の文字認識の精度は、スマートフォンのOCRアプリと同程度といった感じ。

シンプルな文字組みなら、かなり正確に認識して読み上げます。音声も自然で聴きやすい。Amazonの音声合成エンジンを採用しているとのこと。

縦書きにも対応し、上下が逆さまでも自動的に認識して解析してくれますが、新聞や雑誌などの複数の段組で構成される文書は苦手なようです。

この辺りはクラウドでの処理に依存する部分なので、OCRの認識精度が向上すれば解決するでしょう。なおOTON GLASSはGoogleのOCRエンジンを使用しているようです。

さてここまで書くと、「だったらスマホのOCRで良いのでは」と思うかもしれません。

実際私も半分くらいそんな感じで見にいったのですが、

いざ使ってみると、メガネ型のウェアラブルであることが結構重要なのではと感じました。

普通に読みたい物を持ち、ワンプッシュで読み上げられるシンプルさは、ユーザーを選びません。眉間にカメラを備えているので、自然な姿勢で確実なフレーミングが可能です。

スマホだとアプリを起動してカメラを選び、レンズの位置を確認しながらフレーミングして……と煩雑な操作が必要で、スマホに不慣れなユーザーにはハードルが高い。

「文字を読む」という日常的な動作をストレスなくこなすには、OTON GLASSのシンプルさには大きな意味があります。

ひとつ要望を書きますと、撮影するのにテンプルのボタンを押す必要があるのが惜しいと感じました。

少し重い本屋書類を読ませたい時に、両手で持ったまま撮影できると、より確実に対象物を撮影できるのではないでしょうか。メガネが軽いので、ボタンを押す時にブレないかも心配。

ボタンが左側にしか無いのも、左利きのユーザーには不利かも？

ジェスチャや音声コマンドまではいかなくても、ハンズフリーで操作できる無線スイッチなどが使えるようになると便利そうです。欲ヲ言えば、「Seeing AI」のDocument Channelのように本屋書類を自動認識して読んでくれると最高なのですけど。

用途の拡大にも期待

OTON GLASSは文字を認識するのにクラウドを利用します。

ネットワーク接続が必要なのは利用シーンを選んでしまうという欠点はありますが、クラウドでの処理を拡張すれば、文字を読む以外の用途にも使えるのでは？という妄想を書き立ててくれますね。

たとえばマイクロソフトの「Seeing AI」のように物体や紙幣の判別に使ったり、「Be My Eyes」のように、目の前の風景を正眼者に送信して音声サポートを受ける、みたいな使い方も期待できそうです。

説明担当の方に質問したのですが、映像をリアルタイムに送信できるかは不明。もし可能であれば、リアルタイムでの物体認識や、米国の「AIRA」のような人力サポートによるナビゲーションにも使えそうですが…。

また、日常生活を便利にするだけでなく、業務に最適化されたAIと組み合わせるなどすれば、視覚障害者の就労の可能性も広がるかもしれません。素人考えですが……。

Oton Glassはクラウドファンディングを経て、2019年の製品化へ向けて開発が進められているようです。

製品化に当たっては、幅広い用途に応用できる設計になると良いですね。

（デザインも、格好良くなるといいなぁ…）

まとめ

体験の順番待ちをしている間、体験の様子や周囲の反応を聞いていたのですが、「すぐに欲しい」という声が非常に多かったのが印象的でした。

スマートフォンだけでなく、OCRで読み上げできる拡大読書器も存在している中、スマートグラスのインパクトは非常に大きいと感じます。

体験したOTON GLASSはまだテスト機でしたが、ユーザーの手元に届く段階でどのような製品に仕上がるのか、とても期待が膨らみます。今回は体験会ということで触れられる時間も限られていましたが、製品版が登場したら、今度はもっとじっくりと体験して見たいものです。

視覚障害者の情報支援技術といえば、PCやスマートフォン、タブレットといったデジタル端末が中心ですが、OTON GLASSの登場で、ウェアラブルデバイスにも、今後注目が集まりそうです。

欧米ではすでに「OrCam」というウェアラブルデバイスが量産化されています。

これらのデバイスが、視覚障害者をはじめ文字を読むことが困難な人々の一助となることを願ってやみません。