2020年7月20日月曜日

Twitter上の画像を解析し物体認識やテキスト抽出を行うBot「Image Description Bot」。


Twitterは先日、ツイートに添付した画像に代替テキスト(画像の説明文)を加える機能をデフォルト設定で利用できるように変更した。この機能が一般ユーザーの目に止まりやすくなることで直後はそこそこ話題になっていた雰囲気も感じられなくもなかったのだが、今のところさほど利用されているとは言い難いのが実情のようだ。この機能を定着させるにはまだまだ課題山積といったところだろう。

そんな今日この頃、Twitter画像の代替テキストをめぐる興味深いサービスを発見した。
Image Description Bot(@A11yImage)は、返信するだけでそのツイートの画像に含まれる物体を説明したり、テキストを抽出してくれるBotだ。

使い方は極めてシンプル。
解析したい画像が含まれるツイートに「#describeimage」をつけて返信するだけ。
するとしばらくしてImage Description Botから解析結果が返信される。写真に何が写っているか、簡単な説明が提供されるほか、テキストが含まれるイメージならそのテキストが抽出される。
さらに文字数制限を超えた場合に備え、外部リンクから解析内容を確認することもできる。視覚障害者でなくてもテキスト抽出ツールとして使えそうだ。
また解析リクエストをオープンにしたくない場合は、元ツイートに#describeimageを付けてImage Description Bot宛にダイレクトメッセージで共有する方法も用意されている。

実際にどのような感じなのか見てみよう。
例えば、ドジャースの投手David Price選手のこのツイート。
メッセージが画像に埋め込まれる形でツイートされているようだ。かなり拡散されているようだがスクリーンリーダーでは「画像」としか読み上げてくれないのでとても寂しい。


Image Description Botから返信された解析結果は以下のとおり。

Dear Dodgers Nation, After considerable thought and discussion with my family and the Dodgers, I have decided it is in the best interest of my health and my family's health for me to not play this season. I will miss my teammates and will be cheering for them throughout the season and on to a World Series victory. I'm sorry I won't be playing for you this year, but look forward to representing you next year. Stay safe, be well, and be kind. And Go Dodgers! Love, David Price 

この解析結果は返信に添付されているリンクからも確認することができる。
筆者は実際の画像を確認することはできないためどこまで正確に抽出されているかは判断することはできないのだが、彼からのメッセージは十分に伝わってきた。

長文のツイートを画像形式でアップする風習は相変わらず目立つ。ICTに熟達している視覚障害者であれば、Seeing AIやEnvisionなどの画像解析アプリを駆使したり、スクリーンリーダーJAWSやNVDAのOCR機能を用いて、画像からテキストを抽出することも可能だが、誰でも使えるというわけではない。
Image Description Botは、Twitterの画像をアクセシブルにする手段の一つとして可能性を持ったサービスといえる。解析結果が英語のみ、おそらくテキストの抽出も日本語には対応しなさそうだが、気になるツイートの画像に説明文がつけられていない時に使って見ると、何かしらのヒントは得られるだろう。

0 件のコメント:

コメントを投稿

注: コメントを投稿できるのは、このブログのメンバーだけです。

米国マクドナルド、同社のキオスク端末に「JAWS Kiosk]を導入。視覚に障害があっても音声を用いた操作で注文から支払いまでを単独で実行可能に。

画像引用元: TPGi 米国マクドナルドは2021年9月9日、、支援技術ディベロッパーであるVispero社とと提携し、同社が運営する直営店およびフランチャイズ店舗に設置されているキオスク端末に対し「 JAWS Kiosk 」テクノロジーを採用したことを発表しました。 なおここで...