コンピュータが提示した情報から人が知識構築していくためには，コンピュータが
人の知識構築を効率的にするサポートすることが求められる。人の場合，主に音声情
報，画像（形態）情報，意味情報の３種類，もしくは，これらの情報から生成された
イメージ情報を用いて，外的な刺激を符号化して記憶・理解している。これに対して，
コンピュータが提示可能な情報は音声情報と画像情報の２種類に限られている。そこ
で，研究の第１段階として，コンピュータが提示する音声情報と画像情報を人がどの
ように統合して，ある事柄を理解・記憶しているのかを検討する。
一般に，物語などのように，すでにスクリプトを持っているような出来事について
理解する場合，文字だけや音声だけの情報を提示される場合よりも，音声情報と画像
情報が同時に提示される場合の方が理解や記憶が優れることが知られている。しかし，
日常のコミュニケーションの中では，スキーマやスクリプトを持っていない事柄につ
いての記憶や理解が求められる場合も多い。例えば，新しいコンピュータの使い方を
覚えるなどのような全く新しい事柄を学習するという場面は，日常的もかなり多い。
このような場面の特性は，できるだけ効率的に当該の学習を終える必要があるという
こと，すなわち，必要な知識や技能が明確であり，かつ，それらの知識や技能を使用
する場面が迫っているということである。
今回の報告では，スクリプトを事前に持っていない事柄についての学習において，
人が音声情報や画像情報をどのように統合するのかについて３つの実験を行った。
主な結果は，以下の通りである。