言語や五感情報を統合できる脳情報空間モデルの作成技術

言語や五感（視覚、聴覚、触覚、嗅覚、味覚）などの異なる感覚種・データ種を組み合わせて扱う情報処理をマルチモーダル情報処理と呼びます。人間の脳が日常的に行っているマルチモーダル情報処理ですが、現在の人工知能はそのような処理が得意ではありません。

本技術は、人間から計測した脳応答を基に、マルチモーダル情報の効果的な統合を可能にするデータ空間（脳応答空間）を構築します。また同時に、任意のマルチモーダル情報から構築済みの脳応答空間へ情報を変換するモデル（脳応答予測モデル）も構築します。

計測した脳応答はこれらの構築時のみ必要であり、構築後は任意のマルチモーダル情報を統合するシステムとして機能します。本技術によって統合されたマルチモーダル情報は様々なパターン認識に利用でき、特に人間の認知や行動の推定において高い有効性を発揮することが期待できます。

現在、本技術は基礎実証を進めている段階であり、今後は試作や実証実験など基礎的な部分からの長期的な開発・検証が必要です。外部連携を図る場合も、長期的な連携関係を築きつつ、研究員や技術者などの研究遂行に必要な人的リソースを提供してもらえることが、重要な要件となります。(2025年6月19日更新)