米マイクロソフトリサーチ（MSR）は、Webページ内のイメージを解析し、自動的にキャプションを付与するEdge／Chrome用拡張機能「Caption Crawler」のベータ版を公開した。WindowsのEdgeブラウザおよびGoogle Chromeにインストールして試すことができる。筆者はmacOS版Chromeにて動作を確認した。
この拡張機能は、ブラウザに読み込まれたイメージの中からAltタグで代替テキストが指定されていないものを抽出し、専用のクラウドサーバへ送信。Bingの画像認識エンジンを用いて、イメージの内容および参照元URLをフィードバックする。
認識された内容はページ内のイメージに自動的にセットされ、スクリーンリーダーを用いて読み上げることができる。複数の結果が返された場合はショートカットキーでリストアップして読み上げルコとも可能だ。
使い方は、まずこちらのサイトへアクセスしてEdgeもしくはChromeに拡張機能をインストールする。デフォルトでは、アクセスした全てのサイトでこの機能が動作するようになっているが、設定で任意のサイトもしくは拡張機能アイコンをクリックしたタイミングで動作するようにも変更できる。
Caption Crawlerを有効にしてWeb中の代替テキストが指定されていないイメージにスクリーンリーダーのカーソルを合わせると、通常はファイル名が読み上げられるところ、以下のような内容が読み上げられる。
Auto Alt: Caption has been requested
Caption Crawlerが画像解析をリクエストした状態のイメージ。
Auto Alt: No caption available
解析結果が得られなかったイメージ。
Auto Alt: produkt_logo_0001_2
(from: www.drink-department.de)
解析結果が得られたイメージ。どうも何かのロゴ画像のようだ。
複数のキャプションが得られている場合、次のキャプションを読み上げるには
Control + Shift + ‘U’
を押す。またキャプションのリストを表示するには、
Control + Shift + ‘Y’
でキャプションのリストから選択できるようだ。ただし筆者は未確認。また、
Control + Shift + ‘H’
でそのイメージの解析内容の詳細をポップアップする。
またCaption Crawlerのオプションでは、晴眼者が動作を確認できるように、イメージに解析ステータスを示すカラー枠を表示させる機能も用意されている。ショートカットキーの動作もカスタマイズできる。
少し試してみた範囲では、代替テキストが指定されていないイメージの1割程度で解析結果が返ってくる印象。これはクラウド側の学習データ次第で変化するだろう。
まだベータ版で解析されるイメージもわずかではあるものの、これまで意味不明のファイル名しか読み上げられなかったことから考えれば、大きな進歩感を体験できる。
このプロジェクトはMicrosoftが推進する「AI for Accessibility」の一環。研究の経緯はこちらの記事でも読むことができる。
関連リンク：
0 件のコメント:
コメントを投稿
注: コメントを投稿できるのは、このブログのメンバーだけです。