スマートフォンでキャプチャした映像やWebブラウザで視聴中の映像を手がかりにしてデータベースを検索し，関連する情報を提示する技術です． テキストによるキーワードではなく，音や映像の断片そのものキーにして検索することができます．
視聴中の音や映像に関連するコンテンツを検索したり，音や映像と連動して広告を表示するなど，さまざまなコンテンツナビゲーションへの応用が可能になります．