根の前の風景を指先で「見る」感覚置換デバイス「ASenSub」。

画像引用元：ScienceDirect

イスラエル、ワイツマン科学研究所の神経生物学部門に所属するAmos Arieli博士とEhud Ahissar教授は、インターンであるYael Zilbershtain-Kra博士とともに、視覚情報を触覚に変換し、装着者へ伝達するウェアラブル感覚置換デバイス「ASenSub」のプロトタイプを開発しました。

このデバイスはユーザーの手に取り付けられた小型カメラが捉えた映像を処理し、その情報をもとに、同じ手の三盆の指先に仕込まれた96本のピンを上げ下げします。ピンの高さは映像の明るさに対応して変化し、暗いほど高くなります。

例えばデバイスを装着し、白い紙に描かれた黒い三角形の上で指をなぞるように動かすと、ピンの隆起によりその形を指先に感じ取ることができます。研究者によると、このデバイスで感じられる感覚は、実際にエンボス加工された触図の上で指を動かした時の感覚に近いものであると語っています。

イメージとしては目の前にある風景が瞬間的に触図に変換され、そのまま指を動かしてその形を確かめられるという感じでしょうか。周囲の世界を指先で触れて探索するという感覚は、想像するだけで面白いですね。

ASenSubの目指すところは、Active-Sensingと呼ばれる人間の自然な知覚システムの再現です。例えば人が物を見る時は視線を絶えず細かく動かしみたい対象物を特定しますし、指でものに触れる場合は指先を動かしながら触れているものを確認します。つまり人間の知覚において能動的な運動と得られる感覚の結びつきが重要というわけです。

研究者はASenSubを開発するにあたり、単純に視覚情報を触覚に変換するだけではなく、Active-Sensingの考え方に基づき、「視線を動かしてものを見る」という動きを「指を動かしてものに触れる」という動きに置き換えるアルゴリズムを開発しました。指先や視線を動かし、見たいものを探すというプロセスを仮想的に再現することで、触覚に変換された視覚情報をより直感的に得られるようになるわけです。情報を変換するだけではなく、そこへ情報をえようとする人間の「動き」を加えた点がこの研究の興味深いところです。

なおこのデバイスはあくまでも人間の知覚に関する研究を目的として開発されたものであり、実用化には小型化など越えるべき技術的課題が多いようです。しかしこのActive-Sensingという考え方は他の支援技術、特に感覚置換デバイスを設計する上で、結構重要なヒントを与えてくれるような気がしました。

参考：Active sensory substitution allows fast learning via effective motor-sensory strategies - ScienceDirect

参考：Sight through Touch: Secret Is in Hand Movements | Mirage News