2020年12月23日水曜日

[iPhone] Seeing AI 4.0リリース。Lidarを活用した物体検知機能を追加。

MicrosoftのAzure Cognitive Servicesを活用し、AIのパワーで視覚障害者を支援するiOS/ipadOS向け画像認識アプリ「Seeing AI」がバージョン4.0にアップデートされました。久々のメジャーバージョンアップということで、大きな機能追加が行われています。

以下はApp Storeからの引用です。


  • iOS 14 を実行している LiDAR スキャナーを搭載したデバイスで使用可能な新しい世界チャンネルは、空間オーディオを使用して、見知らぬ空間を 3D で探索できます。ヘッドホンを装着すると、周囲のオブジェクトが、室内のそのオブジェクトの場所から通知されて聞こえます。音声ビーコンをその上にかざして特定のオブジェクトを見つけることもできます。この新しい分野をコミュニティと共に探索するため、この早期の実験に関するお客様からのフィードバックをお待ちしています。
  • iPhone 12 Pro と Pro Max では、触覚近接センサーにより、LiDAR スキャナーをポイントし、周囲の物までの距離を感じることができます
  • メイン画面は、コントラストを高め、カメラの視野を広げるように、視覚的に再設計されました
  • シーン チャンネルのイメージの説明と、携帯電話で写真を閲覧する場合の改善
  • ドキュメント チャンネルのテキスト認識精度が向上しました
  • Seeing AI は、チェコ語、デンマーク語、フィンランド語、ギリシャ語、ハンガリー語、ポーランド語、スウェーデン語の追加の 7 言語で使用できるようになりました。
  • さらに、内部でさまざまなバグ修正が行われています


今回の目玉はやはりiPhone 12 Proに搭載されたLidarスキャナを活用した「World Channel(世界チャンネル)」の登場でしょう。

Microsoftといえば音声ナビゲーションアプリ「SoundScape」(日本未発売)を開発した実績もあり、3D音響による拡張現実を用いた空間表現に関して、いっぽリードしているというイメージがあります。Seeing AI 4.0でこの技術がどのように生かされているのか、それともいないのか。あとプライバシーの扱いについても気になります。ちなみにLidarを搭載していないiPhoneではWorld Channelは画面上に出現しないようです。


World Channel以外ではドキュメントチャンネルの精度が向上したとのこと。ですが試した範囲ではまだ誤認識も多く見られ大きな改善は感じられませんでした。OCRの精度に関してはまだ他のアプリを置き換える感じではなさそう、といのが現在の印象です。オート撮影とか見出しを付けてくれるとか優れている点も多いのですが。

あとシーンチャンネルの認識というか表現はちょっと自然になったかな?もしかしたら新しいAzure AI技術が導入されたのかもしれませんがよくわかりません。もうちょいいろいろな場所で試してみます。


以下はSeeing AIの産みの親であるMicrosoftのエンジニア、Saqib Shaikh氏の連続ツイートをざっくり翻訳したものです。


  1. Seeing AI 4.0の発表にとても興奮しています。これにはiPhone 12 Pro用の新しいWorld Channel、つまり不慣れな空間の概要を3D音響で知ることができるオーディオ拡張現実体験が含まれています!
  2. カメラを向けると、その方向に何があるのかをアナウンスします。ヘッドフォンを装着していれば物体が存在する位置から音声が聞こえてきます。例えば「ドア」という音声がドアのある方向から聞こえてきます。
  3. 環境の空間サマリーを取得し、周囲に検出されたすべてのものがあなたにアナウンスされます。また、椅子のような特定の物体の位置を見つけるために、オーディオビーコンを椅子の上に置き、音を追いかけることで、その位置を特定することができます。
  4. The haptic proximity sensor(触覚近接センサー)は、LiDARを使用して環境を「感じる」ことができます。スマートフォンを左右に振って家具や壁の開口部を見つけます。あなたが物体に近づくにつれてより強い振動を感じとることができるでしょう。
  5. これは私たちのオーディオ拡張現実実験の始まりに過ぎません。ここには非常に多くのエキサイティングな可能性があります。私たちは、このような次世代の体験を創造するために、コミュニティと密接に協力していきたいと考えています。


iOS14.2ではAppleが拡大鏡アプリにLidarを用いた視覚障害者向けの人物検知機能を追加し話題になりました。先日も画像認識アプリ「Supersence」(日本未発売)の開発者がLidarを活用したアプリ「Super Lidar」を予告しており、iPhone 12 ProのLidarスキャナを視覚支援に応用する動きが活発化しているようです。Apple Glassesや電気自動車の噂も盛り上がっており、来年はLidarを応用した技術に大きな注目が集まるのかもしれません。

あとはホームボタンを搭載した手頃な価格のiPhoneにも、Lidarスキャナが付いてくれると良いのですけどね。


0 件のコメント:

コメントを投稿

注: コメントを投稿できるのは、このブログのメンバーだけです。

支援技術関連記事まとめ(2022年11月)※お知らせあり。

※以下のリンクをクリックするとDropboxへ接続し、ダウンロードが自動的に始まります。 ※ダウンロードファイルはHTML形式です。ブラウザで開いてください。 ※正常に表示されない場合は別のブラウザで試すか、エンコード設定を変えて見てくださ い。 ダウンロード: 海外記事 / 国...