言語や五感情報を統合できる脳情報空間モデルの作成技術

人工知能が不得意な言語・五感情報の統合を可能にするデータ空間を人間の脳応答から構築

特願

2022-122642

基礎実証済

研究者より

現在、本技術は基礎実証を進めている段階であり、今後は試作や実証実験など基礎的な部分からの長期的な開発・検証が必要です。外部連携を図る場合も、長期的な連携関係を築きつつ、研究員や技術者などの研究遂行に必要な人的リソースを提供してもらえることが、重要な要件となります。

未来ICT研究所 脳情報通信融合研究センター
脳情報工学研究室

概要

言語や五感(視覚、聴覚、触覚、嗅覚、味覚)などの異なる感覚種・データ種を組みわせて扱う情報処理をマルチモーダル情報処理と呼びます。人間の脳が日常的に行っているマルチモーダル情報処理ですが、現在の人工知能はそのような処理が得意ではありません。

本技術は、人間から計測した脳応答を基に、マルチモーダル情報の効果的な統合を可能にするデータ空間(脳応答空間)を構築します。また同時に、任意のマルチモーダル情報から構築済みの脳応答空間へ情報を変換するモデル(脳応答予測モデル)も構築します。

計測した脳応答はこれらの構築時のみ必要であり、構築後は任意のマルチモーダル情報を統合するシステムとして機能します。本技術によって統合されたマルチモーダル情報は様々なパターン認識に利用でき、特に人間の認知や行動の推定において高い有効性を発揮することが期待できます。

図:技術の概要

提供内容・活用

本技術が活用できるパターン認識には以下のような例が挙げられます。
・お店の内装・BGM・香りといったマルチモーダル情報の組み合わせに対する好感度推定
・音楽の購入歴から食品や書籍の商品を推薦するマルチモーダル商品推薦
・味覚や嗅覚を表す言葉から適合する飲料を探索するようなマルチモーダルキーワード検索

その他にも、日常世界は様々なマルチモーダル情報を含んでいるため、本技術の活用先は無数に存在するといえます。

ページトップへ戻る