CiNet 西田グループ

人工知能（AI）への脳情報統合
Integrating Brain Information into Artificial Intelligence

深層学習をはじめとする近年のAI技術の発展には目覚ましいものがあります。特定のパターン認識課題においては、AIが人間の能力を上回る性能を発揮しています。しかし、AIの能力を高めることが、必ずしもAIが行う知覚や認知を人間が行う知覚や認知へ近づけることを意味しません。将来、AIが人間と共存する社会を実現するためには、人間らしい知覚や認知を行い、人間に寄り添うAIの誕生が望まれます。そこで私たちの研究グループでは、脳情報をAIに統合し、AIの知覚・認識を人間に近づけるための技術開発を行っています。2020年にAI分野のトップ会議AAAIにて発表した研究では、深層学習に用いられる深層ニューラルネットワーク（DNN）に脳活動を組み込む画期的な技術を開発しました。そして、映像入力からその映像と結びついた人間らしい認知ラベルを推定する課題において、DNNの推定性能を向上させることに成功しました [1]（下図を参照）。この技術は、株式会社NTTデータが実施する、視聴覚コンテンツの感性評価サービスにも利用されています [2]。現在、この技術を基盤として、他種の感覚入力への応用や、個性を持ったAIの実現を目指した研究にも取り組んでいます。

映像を深層ニューラルネットワーク（DNN）に入力したときのDNNの活性化パターンから、映像に結びついた人々の印象や反応のラベルを推定する課題において、脳情報を組み込まないとき（脳非融合手法）に比べ、脳情報を組み込んだとき（脳融合手法＝提案手法）の方が高い推定性能を示しました。また、脳情報が有効な人間らしいラベルの推定課題ほど、推定性能の向上度合いは大きくなりました。

Recent developments in artificial intelligence (AI), including deep learning, are remarkable. On specific types of pattern-recognition tasks, AI shows higher performance than humans. However, improving the performance of AI does not necessarily mean that the perception and cognition of AI approach to that of humans. The future society in which people and AI live in harmony requires AI that behaves like humans and is acceptable to humans. Towards the realization of such AI, we are trying to develop new techniques to make AI behavior closer to human behavior by integrating brain information into AI. In a study we presented at the AAAI conference in 2020, which is one of the top conferences in the field of AI, we proposed a technique for incorporating brain activity into deep neural networks (DNNs) for deep learning. We then demonstrated that this brain-integrated DNN shows higher performance in estimating cognitive labels associated with video inputs [1] (see figure). We also apply this technique to a commercial service provided by NTT DATA Inc. to evaluate cognition induced by audiovisual contents [2]. We are also working on research projects that aim to apply this technique to other sensory modalities and realize new AI reflecting individual differences of perception and cognition.

  1. Nishida S, Nakano Y, Blanc, A, Maeda N, Kado M, Nishimoto S. Brain-mediated Transfer Learning of Convolutional Neural Networks. Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence, 34(4):5281–5288, 2020. https://doi.org/10.1609/aaai.v34i04.5974
  2. http://nttdata-neuroai.com/

日常的な知覚経験の脳情報デコーディング
Brain Decoding of Natural Perceptual Experiences

何かを見たり聞いたりしたときに感じたこと（知覚経験）を脳活動から読み取る技術を脳情報デコーディングと呼びます。脳情報デコーディングは、brain-machine interfaceなどの脳情報技術の基盤となる重要な要素技術の一つです。これまでfMRIを用いた脳情報デコーディングについて様々な技術が考案されてきましたが、その多くは感覚入力が単純化された実験環境における知覚経験を読み取るものでした。しかし、実社会への応用を考えた場合、日常生活のような自然な状況で生じる多様な知覚経験を読み取る技術が必要となります。そこで私たちの研究グループでは、そのような自然な知覚経験を読み取るための、脳情報デコーディング技術の開発を行っています。2018年に発表した私たちの研究論文では、自然言語処理と呼ばれる工学の一分野の手法を組み込んで、脳活動から自然な知覚経験を1万種類の単語（名詞・動詞・形容詞）で解読するための技術を提案しました [1]（下図を参照）。この技術は、株式会社NTTデータが実施する、脳情報に基づく映像コンテンツ評価サービスにも利用されています [2]。また、その派生として、自然な知覚経験を記述文の形で解読する技術の開発も行いました [3]。これらの技術は、脳を直接介した非言語コミュニケーションなど、未来の脳情報技術の基盤になりうると考えています。現在、個人差も含めてより正確に知覚経験を解読できるように、技術改良に取り組んでいます。

左図の映像（実際には映画のワンシーンだが著作権の都合上イラスト化）を見ているときの脳活動から解読した知覚経験を、名詞、動詞、形容詞の形で可視化しています。ここでは1万語の単語の中から、その人の知覚経験を表現するのにもっともらしいと推定された上位6単語ずつを示しました。名詞・動詞・形容詞はそれぞれ、知覚経験の中の物体・動作・印象の内容に対応しています。

The technique to read perceptual experiences from brain activity is called "brain decoding," which can provide a basis for innovative brain technologies, such as brain-machine interfaces. Although previous studies on brain decoding with fMRI have developed various techniques, most of them have attempted to decode perceptual experiences while using extremely simplified sensory inputs for experiments. However, concerning social applications of brain decoding, we need brain-decoding techniques to read rich perceptual experiences under daily-life situations. To address this issue, we have been trying to develop brain decoding for recovering such natural perceptual experiences. In a research paper we published in 2018, we proposed a new brain-decoding technique that can visualize natural experiences in the form of words (10,000 kinds of nouns, verbs, and adjectives). This technique effectively incorporated a natural language processing model into brain decoding [1] (see figure). We also apply this technique to a commercial service provided by NTT DATA Inc. to evaluate video contents based on brain information [2]. As an extension of this technique, we also developed a decoding technique that recovers natural perceptual experiences in the form of sentences [3].

  1. Nishida S, Nishimoto S. Decoding naturalistic experiences from human brain activity via distributed representations of words. NeuroImage 180(A):232-242, 2018. https://doi.org/10.1016/j.neuroimage.2017.08.017
  2. https://www.nttdata.com/jp/ja/news/release/2015/080600/
  3. Matsuo E, Kobayashi I, Nishimoto S, Nishida S, Asoh H. Describing Semantic Representations of Brain Activity Evoked by Visual Stimuli. Proceedings of 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 576–583, 2018. https://doi.org/10.1109/SMC.2018.00107

脳内意味表現の可視化
Visualizing Semantic Representations in the Brain

私たち人間を取り囲む世界は、様々な意味を持った情報から構成されています。そのような無数に存在する意味情報の脳内表現を明らかにすることは、私たち人間が世界をどのようにして認知的に捉えているかを理解することにつながります。そこで私たちの研究グループでは、自然言語処理と呼ばれる情報科学の一分野で開発された、単語や文の意味情報を数値的に表現することが可能な数理モデルを用いて、無数に存在する意味情報の脳内表現を可視化することに取り組んでいます。まず私たちは、自然言語処理モデルによって可視化される脳内意味情報が、実際に人間の意味知覚を反映することを明らかにしました。そして、従来手法よりも自然言語処理モデルを用いたときの方が、人間の意味類似性の知覚を正確に反映することを明らかにしました [1]（下図を参照）。また、同様の自然言語処理モデルを用いた意味情報の可視化を用いて、統合失調症患者で見られる意味認知障害の原因となる、脳内意味表現の崩れを世界で初めて定量化することに成功しました [2,3]。今後は、最先端の自然言語処理モデルを積極的に取り入れながら、より正確に脳内意味表現を可視化する技術の開発に取り組むとともに、意味表現の個人差を含めて人間の意味認知の本質について調べていくことを計画しています。

自然言語処理モデルの一種である単語ベクター空間を用いて、脳活動から単語の意味表現をモデル化し、脳内表現における単語の類似性構造（単語と単語の類似性を表す構造）を推定します。一方で、行動実験を用いて、人間の知覚を反映した単語の類似性構造を推定します。これら2つの類似性構造の間には有意な相関関係が存在し、単語ベクター空間を用いた脳活動からの推定結果が知覚をきちんと反映していることを示しました。

The world around us consists of a large variety of semantic information. Understanding the brain representation of such semantic information helps us uncover how humans recognize the world. To visualize the brain representation of semantic information from measured brain activity, we employ models for natural language processing (NLP), which is a field of information science. NLP models can quantify the semantic information of words and sentences as numerical representations. One of the studies we performed demonstrated that brain semantic representations visualized using NLP models appropriately capture our semantic perception [1] (see figure). This study revealed that the appropriateness of capturing our semantic perception is higher using NLP models than using other conventional models. In another study, we visualized semantic representations in schizophrenia brains using the NLP models and found disorganization of semantic representations that causes disrupted semantic processing in schizophrenia [2,3]. To our knowledge, this is the first study visualizing semantic disorganization directly in schizophrenia brains. In the future, we aim to develop more sophisticated methods to visualize brain semantic representations, including their difference across individual brains, and elucidate the neural mechanisms of human semantic processing.

  1. Nishida S, Blanc A, Maeda N, Kado M, Nishimoto S. Behavioral correlates of cortical semantic representations modeled by word vectors. PLOS Computational Biology 17(6): e1009138, 2021. https://doi.org/10.1371/journal.pcbi.1009138
  2. Nishida S, Matsumoto Y, Yoshikawa N, Son S, Murakami A, Hayashi R, Nishimoto S, Takahashi H. Reduced intra- and inter-individual diversity of semantic representations in the brains of schizophrenia patients. bioRxiv:2020.06.03.132928. https://www.biorxiv.org/content/10.1101/2020.06.03.132928v1
  3. Matsumoto Y, Nishida S, Hayashi R, Son S, Murakami A, Yoshikawa N, Ito H, Oishi N, Masuda N, Murai T, Friston K, Nishimoto S, Takahashi H. Disorganization of semantic brain networks in schizophrenia revealed by fMRI. Schizophrenia Bulletin, sbac157, https://doi.org/10.1093/schbul/sbac157

実験現象学に基づく意識経験の定量化
Quantifying Conscious Experiences Using Experimental Phenomenology

「意識とは何か」を科学的に解明することは、神経科学研究の重要なゴールの一つです。近年、様々な取り組みによって、その一端が明らかにされて来ていますが、まだ謎は多く残されています。意識を科学的に探究するうえで難しいのは、意識経験という一人称的な主観現象を、どのようにして三人称的な客観的実験検証に落とし込むかという点です。そのような難しい問題を解決するために、私たちのグループは、哲学の理論体系の一つであるフッサール現象学を実験研究に落とし込むための「実験現象学」の方法論を基に、一般の実験被験者から一人称的意識経験の詳細な記述を取り出す手法の開発に取り組んでいます。フッサール現象学では、意識経験を詳細に観察するための第一ステップとして、自然的態度の停止が重要だと考えます。自然的態度とは、我々が例えば物体などの対象を経験する以前に、その対象が存在していることを自明として疑わないような世界の見方のことを指します。この自然的態度を停止することで、対象がどのように経験に表れてくるか、または経験の表れに対して自らがどのようにはたらきかけているかを、内省的に捉えることが可能になります。私たちが2020年に発表した論文では、実験被験者にそのような自然的態度の停止を促して、一人称的意識経験に対するリッチな記述を取り出すため、短時間で訓練を行う手法の開発を試みました [1]。また、従来の科学心理実験のパラダイムに、実験者との対話を導入することで、そのようなリッチな記述を取り出す方法論についても提案し、両眼視野闘争の意識経験において、被験者から詳細な一人称的記述を取り出せることを示しました[2]。さらに、定量的な言語記述分析法と脳計測実験を取り入れ、従来研究で明らかにされていない意識の多様な側面について科学的に明らかにすることを目的とした研究を、科研費・学術変革B「ナラティブ意識学」にて実施しています [3]（下図を参照）

私たちのプロジェクト「ナラティブ意識学」では、現象学班が意識についての豊かで信頼できるナラティブを一般の被験者から取得する実験法を考案します。また、NLP班が自然言語処理技術を用いたテキストの分析を取り入れて、意識の特性を反映するナラティブの意味内容を数値化する分析法を開発します。さらに、脳科学班が数値化したナラティブと計測した脳活動の対応関係を分析して、意識の特性を生み出す脳のメカニズムを調べるための手法を考案します。以上の研究目的を達成することで、ナラティブに基づく意識の科学研究の基礎を確立でき、意識研究に大きな変革をもたらすと期待しています。

The scientific understanding of "what is consciousness" is one of the ultimate goals in neuroscience research. Many studies have attempted to uncover the mechanism of consciousness. However, it remains unclear. A difficulty in scientific research on consciousness is how we coordinate first-personal, subjective conscious experiences with third-personal, objective experimental protocols. We address this issue to develop methods for collecting detailed descriptions of first-personal conscious experiences from naive experimental participants. We employ "experimental phenomenology," which is a methodology for incorporating Husserlian phenomenology into experimental psychology and cognitive neuroscience. Husserlian phenomenology, which is one of the theoretical systems in philosophy, assumes that the first step for observing conscious experiences in detail is the suspension of "natural attitude." The natural attitude is the perspective from which we take it for granted that real things in the real world exist in themselves before our conscious experience of them. By suspending this, we can reflectively orient our attention to how things appear to our conscious experience and how we make an effort to the appearance of the experience. In a research paper we wrote in 2020, we developed short-term training to collect detailed descriptions of first-personal conscious experiences from naive subjects by suspending their natural attitude [1]. More recently, we also developed a method to collect detailed experiential reports by introducing phenomenological interviews into existing psychological experiments. This study demonstrated the usefulness of this method for drawing the phenomenological descriptions of binocular-rivalry experiences from naive subjects [2]. We aim to elucidate various novel aspects of consciousness by combining the training method we have developed with quantitative text analysis and brain measurement experiments, in our project "Narrative Consciousness Studies" [3] supported by JSPS KAKENHI Transformative Research Areas B (see figure).

  1. Miyahara K, Niikawa T, Hamada HT, Nishida S. Developing a Short-term Phenomenological Training Program: A Report of Methodological Lessons. New Ideas in Psychology, 58:100780, 2020. https://doi.org/10.1016/j.newideapsych.2020.100780
  2. Niikawa T, Miyahara K, Hamada HT, Nishida S. A new experimental phenomenological method to explore the subjective features of psychological phenomena: its application to binocular rivalry. Neuroscience of Consciousness, 2020(1):niaa018, 2020. https://doi.org/10.1093/nc/niaa018
  3. https://narrative-consciousness.nict.go.jp/

詳しくはお問い合わせを
For more information, please contact us

これらは西田グループが実施する研究のうちの一部です。他にも様々な研究に取り組んでおりますので、もしご興味がありましたら、お気軽にお問い合わせください。

These research topics are only a part of our studies. We are also conducting many other types of research. If you are interested in them, please feel free to contact us.

↑