| 14 |
その検索結果、信頼できる？ハブに起因するクロスモーダル埋め込みの脆弱性特定 
|
|---|
| どんな研究 |
画像やテキストを共通の空間で表す「埋め込み」は、異種データ間の検索を可能とします。しかし、どんな検索内容に対しても関連度が不当に高くなる「ハブ」の存在が知られており、検索の信頼性低下を招いています。本研究では検索の信頼性改善に向け、ハブの性質を明らかにします。 |
|---|---|
| どこが凄い |
多くの画像と関連度が不当に高くなる「ハブテキスト」の特定法を世界で初めて考案し、特定したテキストが実際に検索精度を低下させることを示しました。この特定は、検索の信頼性を低下させるハブの性質理解に必要不可欠であり、ハブの原因解明と抑制に向けて大きく前進しました。 |
| めざす未来 |
近年、埋め込み技術をはじめとするAIの性能が著しく向上していますが、その信頼性については課題が残されています。特に、どのような入力に対して想定外の挙動を起こすのかまだ明らかではありません。本研究の発見により、AIの挙動や性質の解明に繋がることが期待されます。 |
[1] H. Deguchi, K. Chousa, Y. Sakai, “One Single Hub Text Breaks CLIP: Identifying Vulnerabilities in Cross-Modal Encoders via Hubness,” in Proc. The 64th Annual Meeting of the Association for Computational Linguistics (ACL2026), 2026. (to appear)
[2] H. Deguchi, K. Chousa, Y. Sakai, “Hacking Neural Evaluation Metrics with Single Hub Text,” in Proc. The 19th Conference of the European Chapter of the Association for Computational Linguistics (EACL2026), pp. 198-206, 2026.
[3] 出口祥之, 帖佐克己, 坂井優介, “単一の hub テキストが CLIP を壊す：hubness によるクロスモーダル埋め込みの脆弱性特定,” 言語処理学会 第31回年次大会, pp. 1555-1560, 2026. (委員特別賞受賞)
出口 祥之（Hiroyuki Deguchi）協創情報研究部 言語知能研究グループ
本展示の成果は奈良先端科学技術大学院大学（NAIST）との共同研究によるものです。