In Barcelona, 2015

Tomohiro Amemiya, Ph.D. (雨宮 智浩)

NTT コミュニケーション科学基礎研究所 人間情報研究部 感覚運動研究グループ
主任研究員 (特別研究員)
博士(情報科学)
Distinguished Researcher / Senior Research Scientist
Sensory and Motor Research Group, Human Information Science Laboratory
NTT Communication Science Laboratories NTT Corporation Atsugi, Kanagawa, Japan
ぶるなび Buru-Navi ぶるなび
2004 -
NTT CSL
ぶるなび2 Buru-Navi2 ぶるなび2
2010 -
NTT CSL
ぶるなび3 Buru-Navi3 ぶるなび3
2014 -
NTT CSL
重量錯覚 重量錯覚 重量錯覚
2007 - 2008
NTT CSL
Tactile percepion 触時間知覚 触時間知覚
2006 -
NTT CSL, JST, UCL
五感シアター Multisensory 五感シアター
2009 - 2013
NTT, U-Tokyo, TMU
ぶるなび2 Speed sense 触覚移動速度
2012 -
NTT, U-Tokyo, TMU
ウェアラブル指点字インタフェース 指点字 ウェアラブル
指点字インタフェース
2002 - 2004
U-Tokyo
筒型点字入力インタフェース OBOE 筒型点字入力インタフェース
2004 - 2005
U-Tokyo

人間の錯覚,バーチャルリアリティのような「だます仕掛け」の構成物,感覚運動インタフェースを中心に研究を進めています. 人間が外部とインタラクションする際に,感覚や知覚に生じるちょっとした歪みを分析して人間がどのように世界を捉えているかを理解することを目指しています. さらにこの歪みを手がかりとして,感覚と脳と身体にヒューマンインタフェース・インタラクション技術が効果的にはたらきかけるにはどのようにすればよいか,工学的な実装方法や方法論を確立させることを考えています. この方法論を錯覚応用工学として提唱しています. 現在は触覚や体性感覚を中心に錯覚現象を見つけ,神経メカニズムを探ると同時に工学的に応用すること,また人間の内的世界を拡張し,効果的な情報提示や行動誘導する方法, さらに,感覚代行・感覚拡張の研究や感覚間の相互作用や感覚運動統合の研究にも取り組んでいます.

in NTT CS Labs. ('04-)

Haptic Illusions / Haptic Science

「手を引いて」方向を伝える,錯覚を利用したインタフェース:ぶるなび

Buru-Navi

研究背景

これまで携帯電話やポータブルミュージックプレーヤや携帯型ゲーム機などの携帯端末ではバイブレーション・振動感覚を表現することは出来ましたが, 「牽引力」(引っ張ったり押したり)を表現することはできませんでした. この理由は,力覚(手応え)を生成するためには支点が必要となりますが,携帯端末はどこにも固定されていないため,空気噴流や磁力を使う以外に物理的に実現することが不可能でした.

アプローチ

そこで,われわれは人間の感覚特性,非線形性を利用して擬似的に牽引力を錯覚させる手法を提案しています.非線形性とは単純な比例の関係にはない,ということです.一般に物理的に2倍の量となっても,人間がそれを感じる量が2倍になるとはは限らない(つまり,人間の知覚が非線形特性を持っている)ことが知られています.

人間は速い動きには敏感である一方,遅い動きは知覚しにくい,という特性を利用できないか,という考えのもと, 「短時間の大きな加速度」と「長時間の小さな加速度」を周期的に繰り返す装置を作成しました.この装置は物理的には2方向(たとえば前と後ろ)に力が発生しますが,この装置を持つと上述の非線形性により, 1方向の力として知覚してしまいます.

ぶるなび初号機の機構図

そのため,「ぶるなび」は,これまで開発されてきた力覚提示装置とは異なり,環境に固定したり (例えばPHANToM, SPIDARなど), 角運動量を利用してトルクを提示したり(ジャイロ効果など)ということは行いません.これまでにない,人間の知覚特性を利用した,新しい力感覚の提示手法です.

右端のおもり部分(スライダ)の加速度はクランクスライダ機構によって 早戻り運動を行っており,往復で絶対値の大きく異なる非対称な加速度が発生しています.

Buru Navi (Laval Virtual 2007 GrandPrix winner)

発表文献

  • T. Amemiya, T. Maeda, "Directional Force Sensation by Asymmetric Oscillation from a Double-layer Slider-crank Mechanism", Trans. of the ASME Journal of Computing and Information Science in Engineering, Vol. 8, No. 3, 2008. PDF
  • T. Amemiya, H. Ando, T. Maeda, ""Lead-Me Interface" for a Pulling Sensation from Hand-held Devices", ACM Trans. on Applied Perception, Vol. 5, No. 3, Article 15, pp. 1-17 2008. PDF
  • Buru-Navi project, Laval Virtual Trophies, "Grand Prix" du Jury (2007)
  • T. Amemiya, H. Ando, T. Maeda, "Directed Force Perception When Holding a Nongrounding Force Display in the Air", In Proc. of EuroHaptics 2006, pp. 317-324, 2006.
  • T. Amemiya, H. Ando, T. Maeda, "Perceptual Attraction Force: The Sixth Force", ACM SIGGRAPH 2006 Emerging Technologies, 2006.
  • T. Amemiya, H. Ando, T. Maeda, "Virtual Force Display: Direction Guidance using Asymmetric Acceleration via Periodic Translational Motion", In Proc. of World Haptics Conference 2005, pp. 619-622, March 2005.
  • ... and more

Buru-Navi

Nonlinear relationship between physical and psychophysical values 物理量とそれを知覚する量とには非線形の関係がある
A mechanical sketch of Buru-Navi and output acceleration
往復で大きさの異なる非対称な加速度(偏加速度=造語)を作り出す機構と,その加速度グラフ
Phantom-DRAWN
「ぶるなび」初号機
force SIGGRAPH 2006で配布したフライヤー
2D version
SIGGRAPH 2006
(two-dimensional version)
ぶるなび(R)は2004年にNTT CS研の雨宮智浩, 安藤英由樹(現大阪大学), 前田太郎(現大阪大学)によって開発され,日本バーチャルリアリティ学会の大会(2004年9月)に最初に学会で発表されました.以降,基礎研究を重ね,2014年にはEurohaptics ConferenceおよびACM SIGGRAPHにて親指サイズのぶるなびを発表しました.2015年頃から製品化・実用化のためのプロジェクトチームが開発を進めています.
in NTT CS Labs. ('07-08)

Force feedback "Tray" for novice waiters

お盆が「手を引いて」案内する

提案している手法「ぶるなび」では一方向への牽引力感覚を作り出すことができました. しかし,カーナビのような機能で人間を力でナビゲーションしてくれるシステムを考えるとき, 平面内のあらゆる方向へ牽引力感覚を作り出すことが必要です. 平面内に牽引力錯覚を提示してナビゲーションが可能かを インタラクティブ作品「初心者ホールスタッフのための賢いサーバートレイ」を制作し,その体験型展示を通じて評価しました. その結果,海外での実演展示のように日本語圏ではない体験者(英語圏とフランス語圏)でも直感的に方向が分かり,言語を介さないでも経路へ誘導できることが示唆されました.

上記のインタラクティブ作品では,まだ大きなサイズ・重量ではありますが, 携帯電話に組み込めるような大きさのモジュールになれば,現行の振動モータの代わりになると期待されます.

本システムは体験者が両手で把持するトレイ (約750 g),バッテリーおよび制御回路が入ったバッグ(約300 g), および赤外発光LED と広角カメラを用いた画像処理による距離姿勢方向検出システムで構成されました. また,トレイには「ぶるなび」装置,および力覚提示の方向 変換機構が組み込まれていました.

「ぶるなび」装置が取り付けられたター ンテーブルと,ステッピングモータ(KH42HM2-851; 日本サーボ株式会社) に取り付け られたプーリにそれぞれベルトが係合し, ステッ ピングモータに入力する駆動パルスの数をマイク ロコンピュータ(PIC18F2525) が制御することで提示する力の方向を制御しました. その方向は,画像処理による姿勢検出システムを基に目標物の方向を「ぶるなび」装置が向ように決定されました.

発表文献

  • T. Amemiya, T. Maeda, H. Ando, "Location-free Haptic Interaction for Large-Area Social Applications", Personal and Ubiquitous Computing, 2008.PDF
  • 雨宮智浩, 安藤英由樹, 前田太郎, "初心者ホールスタッフのための賢いサーバートレイ," ヒューマンインタフェースシンポジウム2007論文集, pp. 685-688, 東京, Sep. 2007. 優秀プレゼンテーション賞
  • ... and more

2D Buru-Navi

demo in Laval, France
Demonstration in France
demo in Singapore
Demonstration in Singapore
Tray
Tray
in NTT CS Labs. and Kyoto City ('07-09)

Mobility support for people with disabilities

Direction Indicator through Force Sensation

視覚障がい者の「手を引いて」道案内する

視覚障がい者が安全かつ安心して移動するための基本情報として「orientation」と「mobility」があります.移動中に方位がわからなくなったときには,誰かに尋ねればよいのですが, 周囲に誰もいないときや,災害時(環境の状況が変わったとき)や緊急時(サイレンが鳴っているとき)には情報を得ることが難しくなります.
そこで,視覚障がい者が携帯できるサイズの機器で, 災害時に避難方向を「手を引いて」教えてくれる方位提示装置を開発し,その効果を検証しました. 具体的には,「ぶるなび」を応用し,小型軽量化・多自由度化,予備実験で要望の多かった静音化などの課題を解決し, ナビゲーションシステム等の経路情報を提示し道案内する機能を実装しました. ここでは4つの振動モジュールがそれぞれ東西南北を向くように配置し,それぞれを切り替えることで方向を提示するような方法を採用しました. 力ベクトルを同期させて合成することでたとえば北西のように斜めにも提示することでき,8方位に力を提示することを可能にしました.装置には地磁気センサ・ジャイロセンサも取り付けられています.
 
 
ぶるなび2の機構図
京都市消防局,京都府盲学校の皆様の協力のもと,視覚障がい者を対象とした歩行誘導実験を実施しました.実験は体育館に模擬街路を敷設し,所定の経路どおりに歩行できるか検証しました. 歩行誘導実験結果から,23名のうち21名が事前のトレーニングなしで歩行誘導ができることが判明しました.提案手法によって聴覚情報が遮断された状態でも,牽引力の情報をもとに設定された順路にナビゲーションができることが示されました.

発表文献

  • T. Amemiya, H. Sugiyama, "Orienting Kinesthetically: A Haptic Handheld Wayfinder for People with Visual Impairments", ACM Transactions on Accessible Computing, Vol. 3, No. 2, Article 6, pp. 1-23, Nov. 2010.PDF
  • T. Amemiya, H. Sugiyama, "Haptic Handheld Wayfinder with Pseudo-Attraction Force for Pedestrians with Visual Impairments", In Proc. of 11th ACM Conference on Computers and Accessibility (ASSETS 2009), pp. 107-114, Pittsburgh, PA, October 2009.
  • 雨宮智浩, 杉山久, "牽引力錯覚を利用した牽引式羅針盤による視覚障がい者の歩行誘導の評価", 信学技報, Vol. 109, No. 27, WIT2009-43, HCS2009-43, HIP2009-43, pp. 215-220, 沖縄, May 2009.
    電子情報通信学会 ヒューマンコミュニケーション賞
  • 雨宮智浩, 杉山久, "牽引力錯覚を利用した視覚障がい者避難用力覚コンパスの設計," ヒューマンインタフェース学会研究報告集, Vol. 10, No. 3, ヒューマンインタフェース学会研究会 第49回研究会, pp.9-14, 函館, Aug. 2008. 研究会賞
  • ... and more
本研究の一部は平成19-20年度 総務省消防庁 消防防災科学技術研究推進制度の助成を受け実施されました.

Haptic compass

concept picture

a pilot study with visually impaired people
盲学校での予備実験の様子(2007)

Picture of the haptic handheld wayfinder
Overview of navigation with the haptic handheld wayfinder
盲学校での誘導実験の様子(2008)
in NTT CS Labs. ('11-12)

Haptic illusion for Pedestrian Navigation

buru-navi2
視覚障がい者の道案内の実験から得られた知見をさらに発展させ,携帯電話などの端末すべてのユーザを対象として,ユーザの手を引いてくれるような歩行者ナビゲーションの実現を目指しています. ぶるなびの機能が搭載された携帯端末を使えば,小さな端末画面の地図を凝視することなく,手を引いて目的地まで携帯端末が引っ張ってくれるような時代が来るかもしれません. そのため、歩行運動中に牽引力を効果的に知覚するための基礎実験をすすめ,有効な提示方法を検証しています.

burunavi2

ぶるなび2では非対称振動をする機構が内部で回旋することで水平面の360度あらゆる方向に引っ張られるような力感覚を作り出すことが出来ます.試作装置はDVDディスクと同じ直径の12cm,重さは約300gで実装しました.
手の位置や姿勢を検出することで,特定の方向に引っ張るヒューマンナビを実現できます.下の動画ではモーションキャプチャシステムを使用し,手の位置姿勢を計測し,その情報を使って,手を引っ張る方向を常時修正しています.

発表文献

  • 雨宮智浩, "知覚の非線形性を利用した牽引感提示",(特集「ヒトの触感覚特性を活かす」), 日本ロボット学会誌, Vol. 30, No. 5, pp. 483-485, June 2012.
  • 雨宮智浩, 五味裕章, "牽引方向知覚における能動的探索の有効性を活用した屋内歩行ナビゲーションシステムの開発", 電子情報通信学会論文誌, Vol. J97-D, No. 2, pp.260-269, Feb. 2014.
  • T. Amemiya, H. Gomi, "Active Touch Sensing of Being Pulled Illusion for Pedestrian Route Navigation", In Proc. of ACM SIGGRAPH 2012 Poster, Article No. 68, Los Angels, CA, August 2012.
  • ... and more

Buru-Navi2

歩行ナビの様子
歩行運動特性を考慮した牽引力提示へ
in NTT CS Labs. ('14-)

錯覚を利用したインタフェース:ぶるなび3

指先でつまむ力感覚提示装置

人間の感覚・知覚の非線形特性をうまく利用して,あたかも手を引かれるような感覚を作り出すことに成功してきましたが, 装置の大きさや重さに課題がありました. そこで,これまでの非対称振動を作り出す新しい機構を採用することによって従来の試作機より9割以上サイズと重量が小さくすることに成功しました. 親指サイズのバイブレータによって,これまでと同様の「一方向に強くすばやく,その反対方向に弱くゆっくり」と非対称に振動させることで,強くすばやい方に連続的に引っ張られているように感じさせることに成功しました.
小型軽量ながらこれまでのぶるなびと遜色のない牽引力感覚を生成することができます.この成果は携帯端末やウェアラブル機器との連携において不可欠なものです. さらに特定のアクチュエータと振動周波数の組み合わせで,明瞭な牽引感を生み出すことを明らかにしました.

ぶるなび3

これまでの「ぶるなび」シリーズと同様,非対称振動によって牽引力感覚を生成しています.

また,日本電産セイミツ株式会社とのコラボレーションによって、同社のアクチュエータ技術を用いて試作機を製作しました.詳細はこちら(NTTの公式サイト)

歩行誘導デモ
これまでのぶるなびと同様,歩行ナビゲーションも実現しました.

発表文献

  • Tomohiro Amemiya (招待講演), "Perceptual Illusions for Multisensory Displays", The 22nd International Display Workshops (IDW '15), Otsu, December 2015.
  • Tomohiro Amemiya, Hiroaki Gomi, "Buru-Navi3: Behavioral Navigations Using Illusory Pulled Sensation Created by Thumb-sized Vibrator", In Proc. of ACM SIGGRAPH 2014 Emerging Technologies, Vancouver, Canada, August 2014.
  • Tomohiro Amemiya, Hiroaki Gomi, "Distinct pseudo-attraction force sensation by a thumb-sized vibrator that oscillates asymmetrically", In Proc. of Eurohaptics 2014, Versailles, France, June 2014.
    Best Demonstration Award
  • ... and more

関連文献

Buru-Navi3

Gian is surprised at a sensation of being pulled by Buru-Navi3.
© 小学館
Buru-Navi3 appears in ドラえもん.
ぶるなび3
Buru-Navi3 two-dof version

Fishing game with Buru-Navi3

魚釣りゲームへの応用

in NTT CS Labs. ('07-09)

Weight illusion by Vibration / 非対称振動による重量知覚の錯覚

重さの知覚を「振動」でハックする

物の重さはどのように知覚されているのでしょうか.体重計や秤のように物の重さを正確に計る体のセンサは触覚にあるはずですが,実際には正確に推測することは簡単なことではありません.多くの場合,見た目の情報を無意識に利用されていることが知られています.たとえば,重量が同じで,見た目の大きさの異なる物体を交互に持ち上げるとき,小さな方がより重く感じられてしまいます.これはシャルパンティエ効果(大きさ重さ錯覚:Size-weight illusion)と呼ばれ,両者の重量が同じであるという真実を知っていても,ひきつづきこの錯覚が生じるほど強いことが知られています.ほかにも物体の温度や色(白よりも黒のほうが重く感じる),「重い」と書かれたラベルがつくことでも重量錯覚が生じることも報告されています.このように感覚器からのボトムアップだけでなく,知識や経験といったトップダウンの情報処理によって重量知覚は影響されます.

天秤

それでは一見しただけでは重さがわからないような物体に対して,われわれはどのように重さを知るのでしょうか.そういった場合,皮膚や筋などの受容器の情報を中心にその重さを推し量ることになります.それを巧く利用して物を持つときに得られる触覚情報を外部から変化させれば,物の重さを変化させて知覚させることができます.しかし,触覚情報を外部から変化させるためには,物を糸でつり上げたり,磁石を近づけて引力や斥力を与えたりする必要があるため,こうした方法を用いることなく物の重さが変わったように感じさせることはできませんでした.
そこで,私たちはその物体の物理的な質量を操作することなく,重力方向に物体を振動させて触覚情報を外部から変化させました. すると,あたかも物体の重量が変化したように感じる現象(重量錯覚)を発見しました. 重力方向の正逆に強度の大きく異なる非対称な振動運動をさせるとき,大きな加速度が生じる向きに応じて,その物体が本来より重く(あるいは軽く)知覚されることが明らかになりました.
また,重量が増加する効果に比べ,重量が減少する効果が小さくなることも明らかになりました. この重量錯覚の非対称性に関するメカニズムについてはまだ完全に明らかになっていませんが,重力加速度と非対称振動の加速度の総和である見かけの重力加速度と知覚神経メカニズム(知覚充填)の関与が考えられます.

発表文献

  • T. Amemiya, T. Maeda, "Asymmetric Oscillation Distorts the Perceived Heaviness of Handheld Objects", IEEE Transactions on Haptics, Vol. 1, No. 1, pp. 9-18, Jan-Jun, 2008.PDF
  • ... and more

Heaviness Illusion

holding procedure

2つの振動する箱を順に持ち上げ,重いと感じた方を回答する実験を行いました.

demo in  Laval
非対称振動と対称振動の物体の重量比較実験の心理物理曲線

in NTT CS Labs. with JST, and UCL('06-)

振動順応を用いた触時間知覚の研究

触覚における時間知覚のメカニズムを探る

時間の長さやタイミングの知覚は人間の活動において欠かせません. たとえば,発話,音源定位,運動生成などの活動はその一例ですが,これらの活動の多くは明確な時間のエンコードを必要としません.つまり,時間の長さやタイミングを意識して数え上げることなく,振る舞うことができます. 一方,ストップウォッチで時間を計るときのように,意識して経過時間を測るような時間知覚においてはより明確な表象が必要となります. しかしながら,このような時間知覚(ここでは数秒以内の比較的短い時間)がどのようになされているのか,今なおメカニズムが十分明らかになっていません.
視覚モダリティにおける時間知覚の先行研究から,高い時間周波数に順応すると提示される刺激の時間間隔が短く知覚されることが知られています.この順応は主に視覚の低次の領域に作用し,時間情報は定常系sustained (parvocellular)と過渡系transient (magnocellular)のチャネルによってエンコードされていると考えられています. そこで私たちは触覚における時間知覚,具体的には指先に与えられる振動時間の長さをどのように知覚しているかを調べました. 触覚にも視覚と同様に定常系 (SA: slowly adapting)と過渡系(RA: rapidly adapting)チャネルが存在し,視覚で見られたような順応による時間間隔の短縮効果が触覚でも見られるか検証しました. その結果,比較的高い周波数の振動の順応によって皮膚に提示された振動時間間隔が短く知覚されることを示しました.この実験結果は人間の時間知覚が視覚と触覚で同様の時間感覚チャネルの順応によって起こることを示唆しています.

発表文献

  • J. Watanabe, T. Amemiya, S. Nishida, A. Johnston, "Tactile Duration Compression by Vibrotactile Adaptation", NeuroReport, Vol.21, No. 13, pp. 856-860, August 2010. PDF
  • J. Watanabe, T. Amemiya, S. Nishida, A. Johnston, "Distortion of tactile duration perception", In Proc. of NEUROSCIENCE 2007, Society for Neuroscience, San Diego, CA, Nov. 2007.
  • 雨宮智浩, 安藤英由樹, 西田眞也, Alan Johnston, 渡邊淳司, "触覚における時間知覚のメカニズムの研究", 日本バーチャルリアリティ学会第11回大会, pp.33-34, 仙台, Sep. 2006.
  • ... and more

Tactile duration perception

universal clock or multiple represensation?
Universal clock? Distributed?
Procedure
Experimental procedure
in NTT CS Labs. with TMU and Univ.of Tokyo ('08-)

Multisensory Theater / 五感シアター

五感シアター

身体を揺さぶる多感覚情報提示システム

民生用3Dテレビが市場に提供され始め,立体(3D)表示への関心が高まりつつあります.現在の3D映画等における立体視体験は, 様々なコンテンツが作り出され,以前よりはるかに洗練されたものとなっています.さらにHMDなどバーチャルリアリティシステムを体験できる民生品も登場し,一般消費者の間にまで普及しつつあります. 一方で,わたしたちが実環境で得ている現実感は,そうした視覚情報のみならず,多感覚情報の適切な組み合わせによってこそ,正真の現実と確信して疑わない感覚となっています.

共同研究グループ(代表:首都大学東京,共同:NTT CS研,東京大学)では,最適な多感覚刺激の組み合わせ手法に基づくマルチモダリティシステムから新しい臨場感を提示するディスプレイの要素技術の開発を目指しています.ここでは,要素技術の実証のためのシステムを五感シアター(FiveStar: Five Senses Theater) と呼んでいます.これは映画館という専用施設に対する「ホームシアター」の存在のように,一般家庭で体験できるようなシンプルで最適化されたものを想定しています.五感シアターは視覚や聴覚だけでなく,嗅覚や触覚,体性感覚,前庭感覚などの五感への刺激を生成するものであり,革新的な統合超臨場感体験を生成することを長期的な目標としています.五感シアターの要素技術として,立体視ディスプレイ,空間音響,力覚/触覚ディスプレイ,風・香りディスプレイ,前庭感覚ディスプレイなどがあり,それらを統合する観点に 注目しています.

五感シアター構成

これまでに,魔法学校の体験入学のコンテンツや,イタリアへのバーチャル旅行,ウサインボルトの世界記録を擬似体験するシステムを開発・展示してきました.座席に座ったままで歩いているような感覚や,走っているような間隔を作り出すことができるかを調べています.

DigiInfoさんの動画より

五感メディアを使った超日常空間体験システム「五感シアター」 (2010)

五感を使用したバーチャル身体技術 (2012)

発表文献

  • Y. Ikei, K. Abe, K. Hirota, T. Amemiya, "A Multisensory VR System Exploring the Ultra-Reality", In Proc. of 18th International Conference on Virtual Systems and Multimedia (VSMM 2012), pp.71-78, Milan, Italy, September 2012. PDF Best Paper Award
  • K. Hirota, S. Ebisawa, T. Amemiya, Y. Ikei, "A Theater for Viewing and Editing Multi-sensory Content", In Proc. of IEEE International Symposium on VR innovation (ISVRI) 2011, pp. 239-244, 2011.
  • ... and more
本研究の一部は独立行政法人情報通信研究機構委託研究 「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」として実施されました.

Five Senses Thearter: Ultrarealistic project

NHKおはよう日本の取材風景(2012/10/25) 実演展示の風景
五感シアター ウサインボルト走行体験 これまでに首都大学東京の池井研究室を中心に,東京大学の広田研究室と試作機を制作し,実演展示を行ってきました.これまでの展示の履歴はこちらをご覧ください.
in NTT CS Labs. with TMU and Univ.of Tokyo ('12--)

触仮現運動による自己運動感覚の速度知覚変化

走行の速度感を増幅させる触覚提示

自動車に乗っているとき,窓から見える風景は進行方向と逆向きに流れているように見えます.私たちが乗り物に乗っているときにはこうした視覚的な手がかりや前庭感覚や体性感覚などの感覚情報から速度を感じとります.そのなかでも重要な情報の一つがオプティカルフローで,網膜上に生じる規則的なパターンの変化を指します.

私たちは網膜上ではなく,皮膚表面上に生じる規則的なパターンの変化に着目しました.パターンの変化を走行方向に対応させ,広域に提示させるため,座席と身体の接触面で触仮現運動を生起させる刺激を作りました.このような触覚刺激を点群の光学的流動(オプティカルフロー) の提示にあわせて提示する事で,視触覚間における感覚間相互作 用が生じ,主観的な走行速度の変化が生じるかについて調べました.

実験の風景

実験参加者は暗室内にて触覚振動装置の上に着座し,顎台に頭を乗せ,画面中央の注視点を見つめました.実験参加者は提示された刺激から推定される移動速度に関して,基準値(モデュラス) を10 として,テスト刺激によって知覚された移動速度感覚が,この基準値に対して相対的にどのくらいであるかを評定しました.

触覚刺激

実験結果から,座面部分か ら提示される触仮現運動によって前進時の自己の移動速度感が促進されて知覚されることが明らかになりました. また,自己の移動速度の抑制に関しては触覚刺激の時間的な間隔の大きさが重要な役割を果たすことが示唆されました.一方,移動の手がかりを伴わないランダムな 触覚刺激では自己の移動速度はほとんど変化しないこ とも明らかになりました.

発表文献

  • 雨宮智浩, 広田光一, 池井寧, "座面上の触仮現運動が及ぼす視覚誘導性自己運動感覚の速度知覚変化", 日本バーチャルリアリティ学会論文誌, Vol. 18, No. 2, pp.121-130, June 2013.
    日本バーチャルリアリティ学会 論文賞
  • T. Amemiya, K. Hirota, Y. Ikei, "Tactile Flow on Seat Pan Modulates Perceived Forward Velocity", In Proc. of IEEE 8th Symposium on 3D User Interfaces (3DUI 2013), pp.71-77, Orlando, FL, March 2013.
  • ... and more
本研究の一部は独立行政法人情報通信研究機構委託研究 「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」として実施されました.
in NTT CS Labs. Osaka Univ. UEC ('04-06)

前庭電気刺激GVSを用いたヒューマンインタフェース

微少電流によって重力方向が騙される

前庭電気刺激(galvanic vestibular stimulation: GVS)は両耳の後ろに電極を貼り,一方向から他方へ微弱電流(2mA程度)を流したときに,電極のアノード側にバーチャルな加速度を生成させることが可能な電流刺激方法です. その電極(および電流刺激装置)を装着した歩行者は直進して歩いているつもりでも,電流刺激によってアノード側に体が動いてしまうことがFitzpatrickらによって報告されています.原理としては100年以上前から知られています.

Fitzpatrick, R.C., et al.(1999): Effects of galvanic vestibular stimulation during human walking. J. Physiol., 517(3): 931-939.

電気性身体動揺検査(GBST)と呼ばれる,耳の後ろに電気刺激を加えると身体が一方に傾く現象を利用した検査も行われています. この現象は右耳へ正方向の電流を流すと,身体は右側に傾き,左耳へ正方向の電流を流すと左側に傾くというもので,カロリックテストの代用として用いられることがあるようです.

前庭感覚刺激を視聴覚などの他の感覚と組み合わせることによって没入感・臨場感の向上が可能かを調べるシステムを実装しました. カーレーシング・シミュレータ(TorcsのLinux版ソースを一部改造)において,コーナーを曲がる際の加速度感をGVSによって生成して, シミュレーション中に車にかかる左右方向の加速度に比例した電流量を体験してもらいました.また,前庭感覚刺激の交流刺激を与えると 周波数によっては体が揺らされているように感じたり,逆に世界が揺れているように感じたりするため,こうしたデモも作成し,オープンハウス等で実演展示しました.

発表文献

  • T. Maeda, H. Ando, T. Amemiya, M. Inami, N. Nagaya, M. Sugimoto, "Shaking The World: Galvanic Vestibular Stimulation As A Novel Sensation Interface", ACM SIGGRAPH 2005 Emerging Technologies, 2005.
  • ... and more

GVS for VR application

human remote control
SIGGRAPH 2005 (human remote control)
racing video game
SIGGRAPH 2005 (racing video game). Feel the "G" (centrifugal force) in the corners.
synchronization with music rhythm
SIGGRAPH 2005, (synchronization with music rhythm: Shaking the World)
[List of demonstration]
in The Univ. of Tokyo ('02-04)

Wearable Finger-Braille Interface for the Deaf-Blind People

バーバル・ノンバーバル情報を利用した盲ろう者歩行支援のためのウェアラブル触覚インタフェース

Wearable Finger-Braille Interface

研究背景

視覚と聴覚に重複の障がいのある視聴覚障がい者(盲ろう者,日本国内に2万人と推定されている)はコミュニケーションにおいて主に触覚を用いています. 指点字はそのコミュニケーション手段の一つであり,6点点字のドットを両手の6指に対応させ,点字1マスを1回の打鍵で伝え,時系列で文章を伝える方法です. 習熟者になると会話と同じくらいの速度で意思伝達が可能となります. これまでにも指点字デバイスはいくつか開発されてきましたが,持ち運びが困難な重厚長大な据置型や,日常生活で常時装着することを前提に考えられていない形状にとどまっていました.

アプローチ

そこで,日常生活で常時装着することができる形態をめざし,常時装着できる指点字インタフェースを開発しました.この開発においては,視聴覚障がい者との「装置試作→評価→装置試作→評価→…」のフィードバックループを重視し, 試作と設計を繰り返しました. 指点字を電子的に実装するにあたり,下記のようなユーザスタディの結果が得られ, 腕時計型コンピュータWatchPadを使ってウェアラブルPCから手首までのワイヤレス化を実現しました. また,点字の情報(バーバル情報)だけでなく,歩行支援のために方位情報のようなシンボル情報も伝えられないかを調べました.

【装着形態】
手袋型…装着が容易だが,指先や手掌の感覚が得られない, 指先や手掌の空いた形状の手袋もあるが,駆動部分の振動や衝撃などの伝播の影響を受けやすい, 衛生面にも問題
指輪型…触覚受容器の集中した指先や手掌を覆わない

指輪型を採用

【アクチュエータ】
・振動型…小型振動モータ(無負荷の振動周波数が116 Hz, TPC社CM05J)
・打鍵型…チューブラソレノイド(新電元社S-50S03),単発パルスで駆動

→盲ろう者による文字の識別実験の結果,ソレノイドを用いた装置より小型振動モータの方が正答率の高かったため,小型振動モータを採用

Vibration motor type and solenoid type
Previous Version of Finger-Braille Interface

【接続形態】
前述の試作器では,パラレルポート接続やUSB 接続.

→腕の動きの自由度に対する不安感,不快感を受ける(視聴覚障害者は手や腕を積極的に動かすため)

→両手に装着された指点字インタフェースと,ウェアラブルコンピュータ間を近距離無線技術Bluetooth により無線化した試作機を開発.

【無線化に伴う遅延の知覚評価】
ウェアラブル指点字インタフェースを無線化することによって,ノイズなどにより両手間の刺激信号のランダムに発生する遅延は避けられない. 仮にこのような遅延が生じても,人体の両手間の時間弁別閾がその遅延時間以内であれば文字情報の認識の際に問題は生じない. そこで,無線LANとBluetooth の2.4 GHz ISM バンド域の干渉の影響などにより両手間の刺激信号にランダムに発生する通信の遅延と, 人体の両手間の刺激の時間的な弁別閾をそれぞれ計測し,心理物理学的に評価しました.

本システムにおけるオンセットの時間弁別閾は約35 ms
オフセットの時間弁別閾は約55 ms

一方,両手間のBluetooth の通信遅延は,実測によると99.68 % が4 ms 以下,99.98 % が30 ms

→両手間の振動刺激の同時性は保持

【謝辞】
本研究は雨宮が東京大学の廣瀬通孝研究室在籍時代に遂行された研究成果です.東大先端研の福島智先生,伊福部達先生,東京盲ろう者友の会の皆様の貴重なご意見とご協力のもと,遂行されました.

発表文献

  • 雨宮智浩, 広田光一, 廣瀬通孝, "バーバル・ノンバーバル情報を利用した視聴覚障害者の歩行支援のためのウェアラブル触覚インタフェースの研究", 日本バーチャルリアリティ学会論文誌, Vol. 9, No. 3, pp. 207-216, 2004. 論文賞
  • T. Amemiya, J. Yamashita, K. Hirota, M. Hirose, "Virtual Leading Blocks for the Deaf-Blind: A Real-Time Way-Finder by Verbal-Nonverbal Hybrid Interface and High-Density RFID Tag Space", In Proc. of IEEE Virtual Reality Conference 2004 (VR 2004), pp. 165-172, 2004.PDF

Finger-Braille

Prototype
Finger-Braille Interface
How to type in Yubi-tenji
Finger-Braille was invented for the Deaf-Blind to communicate in real time in Japan, and it became one of the commonly used communication methods among Deaf- Blind people in Japan. In Finger-Braille method, the index finger, middle finger, and ring finger of both hands function like the keys of a Braille typewriter. A sender dots Braille code on the back of fingers of a receiver as if typing on a Braille typewriter.
Using Finger-Braille
Some examples of the translation are shown in the table below. Regardless of the language, Braille systems consist of 6 dots; the pattern for "na" under the Japanese Braille system is the same as "K" under the English one. Therefore it is easy to translate Braille into Finger-Braille under all languages. The Finger-Braille method enables Deaf-Blind people to obtain textual information as if they are listening in real time.
example of the translation a letter into a braille code and a Finger-Braille code
Wireless version with Linux watch
Wearable Finger-Braille Interface with WatchPad (a Linux-based watch)
in The Univ. of Tokyo. ('04-05)

Oboe-like Braille Input Interface for Wearable Computing

モバイルで利用可能な明確なクリック感を有するコード式入力インタフェース

OBOE

研究背景

コンピュータの小型化軽量化はどこでも計算機が使えることを当たり前にしました.モバイル(=移動体)コンピューティングでは入力インタフェース,特にテキスト入力は重要な技術的課題の一つです.なぜなら,単に据置型の入力インタフェースを小型化してもそのまま有効に使えるとは限らないからです. たとえばQWERTYキーボードがそのまま採用されても,キー数や大きさから使いにくくなります.

アプローチ

一方,コードキーボードと呼ばれる,ピアノの鍵盤で和音(コード)を弾くときのように同時に複数のキーを押すことで一つの文字を入力する方法を採用したデバイス(Twiddlerなど)が開発・提案されていました. そこで,点字入力そのものがコードキーボードであることに着目し,縦笛のように両手で,立ったまま,歩きながらの姿勢で入力できる装置として筒型の点字入力インタフェースOBOE(Oboe-like Braille interface for Outdoor Environment)を開発しました.

これに取り組んだ背景には,情報技術が障がい者へどのような貢献ができるかという観点からの研究は非常に多いにもかかわらず,これとは逆に障がい者の生活に根付いている技術や文化を利用して,情報技術の発展をはかるという方法論のもとに遂行された研究例は非常に少ないことを私が感じていたことが挙げられます.

入力部品にも選定を工夫しました.明確なクリック感をユーザにフィードバックするメカニカル式のキースイッチを用いたため,ユーザは入力動作を直観的に確認することができます.たとえばタッチパネルでは「触感フィードバックの無さ」から,入力確認が難しいことが知られており,敢えてカチカチと音のするキーを使いました.

OBOEの評価として,点字未習得者の学習効果の実験,および習熟者モデルとみなせる指点字通訳者の入力速度,誤入力率の計測実験をそれぞれ行いました. これらの評価実験の結果から,習熟後には高速な入力が可能であることが実験結果から推察されました. さらに,アンケートの結果も合わせて,従来の点字タイプライタとの比較,最適なキー配列,把持の姿勢についても考察しています(詳細は論文をご覧ください).

また,指点字通訳者2名はかなり高速な入力ができ,平均入力速度は1分間あたり112.4マス相当(点字のマスの数),誤入力率は3.59 %でした. 指点字通訳者はほとんど練習なしでOBOEを使用してこの結果が得られ,指点字通訳の経験者にとっては非常に高速に入力できるデバイスであると言え,さらに点字入力経験者においても同様の結果が得られると予想されます.

【謝辞】
本研究は雨宮が東京大学の廣瀬通孝研究室在籍時代に遂行された研究成果です.

発表文献

  • 雨宮智浩, 広田光一, 廣瀬通孝, "筒型点字入力インタフェースの開発と評価", 情報処理学会論文誌, Vol. 46, No. 7, pp. 1701-1710, 2005.
  • T. Amemiya, K. Hirota, M. Hirose, "OBOE: Oboe-like Braille interface for Outdoor Environment", In Proc. of 9th International Conference on Computers Helping People with Special Needs (ICCHP 2004), pp. 498-505, 2004.PDF

OBOE: input device

OBOE
OBOE = Oboe-like Braille interface for Outdoor Environment
learning effect
Result of experiment
OBOE meets Finger-Braille interface
OBOE with wearable Finger-Braille interface