誰かが1枚の写真を見ています。私たちには、その写真は見えません。代わりに、その人の脳活動を測定します。するとコンピューターの画面に、その人が見たものに似た画像が現れます。
SF映画に出てきそうな話ですが、研究室ではすでに可能になっています。
最近は、ほかの人のデータを事前に学習したAIを使い、より短い時間で結果を得られるようになっています。
脳が見た場面を、AIが描き直す時代が始まったのです。
脳の信号から描いた画像は、どのくらい似ているのでしょうか
新しい概念図：Reverse Entropy。紹介する研究：Scotti PS et al., ICML/PMLR, 2024, Figure 3。原著論文と実際の研究画像 · 論文のライセンス（CC BY 4.0）。原著の刺激用写真は、ここには転載していません。
バス、野球場、花瓶、猫。2024年に発表されたMindEye2原著論文のFigure 3には、これらの場面の実例が示されています。原著の実例を見ると、このくらいなら確かに似ているといえると思います。
もちろん、ある程度の違いも見えます。
赤い2階建てバスは別の形のバスになり、花の色や花瓶の形も変わっています。
場面の手がかりをかなり捉えていますが、写真をそのままコピーしたわけではありません。
頭の中の何を測っているのでしょうか？
この技術の秘密は、MRIで脳を撮影することです。
人に写真を見せながら、場面ごとに異なる脳の反応を記録します。
その後、新しい脳の信号が入力されると、以前の記録と比較して、どのような画像かを推測します。
出典：Asnaebsa, Wikimedia Commons, 2022. 原画像を変更せず掲載。画像の原典 · ライセンス：CC BY-SA 4.0。
病院でよく目にするMRIと同じものではありません。代表的な研究で使われているのは、機能的磁気共鳴画像法、fMRIです。
神経細胞の活動に伴って変わる血液の酸素化状態を利用し、脳の反応を間接的に読み取ります。
通常の脳MRI画像を1枚撮影することとは異なります。
AI活用画像 · 詳細を見る
出典：Reverse Entropyの原説明図を、この翻訳版のために翻訳・再制作。根拠：Shen et al., 2019; Scotti et al., 2024。研究の参考原典。実験結果ではなく、原理を説明する概念図です。
ここで生成AIが活躍します。
脳の信号から推定した特徴をもとに、AIが画像を作り出します。
物体の形や配置を推定する技術に、その手がかりを自然な画像として表現する技術が加わったのです。
新しい概念図：Reverse Entropy。参考資料：NIH NIBIBのMagnetic Resonance Imaging教育資料。韓国語記事に掲載された写真は、ここには転載していません。
目の前にない場面も取り出せるのでしょうか
次の段階は、想像です。実際に見ている写真ではなく、頭の中に思い浮かべた場面を読み取るのです。
2026年5月に発表されたMIRAGE研究では、参加者が指定された画像や概念を思い浮かべているときの脳信号から、画像を再構成しました。モデルは、写真を実際に見ているときのデータで学習しました。[3]
新しい概念図：Reverse Entropy。紹介する研究：Kneeland R et al., PLOS Computational Biology, 2026, Figure 2。原著論文と実際の研究画像 · 論文のライセンス（CC BY 4.0）。原著の刺激用写真や生成例は、ここには転載していません。
MIRAGE原著論文の実例では、サーフィンの姿勢や鳥といった手がかりは現れていますが、色や細かな形は原画像と異なります。
実験は、18の画像・概念の刺激で構成された、限定的な課題でした。
自由に浮かぶすべての思考や、一晩中見る夢を映像として録画した結果ではありません。
興味深いことに、実際に見ている画像をうまく復元するモデルが、想像でも最もよい結果を出すとは限りませんでした。
想像中の信号はより弱く不安定なため、それに合った解読方法が必要でした。
例えば、脳信号から「芝生の上の犬」という手がかりが得られたとしましょう。生成AIは、毛並み、瞳の輝き、草の葉が落とす影まで描くことができます。
しかし、その細部はすべて、脳から読み取った情報なのでしょうか。AIが学習してきた犬や芝生の姿を使って、補った部分もあります。
写真のように鮮明に描く力と、実際に見た場面を正確に復元する力は異なります。
2025年に発表された「Spurious reconstruction from brain activity」は、一部の画像再構成の方法について、この問題を指摘しました。見慣れた種類の画像ではもっともらしい結果が出ても、学習時と種類が重ならない別のデータでは、性能が大きく低下しました。
そのため、結果を見るときは「すごい、写真みたいだ」から、もう一歩踏み込む必要があります。
物体の数や位置、色、互いの関係まで合っているかを見る必要があります。
私がより期待するのは、コミュニケーションの可能性です
この技術がより正確で使いやすくなれば、言葉や動作で意思を表すことが難しい人が、頭の中のイメージを伝える助けになるかもしれません。研究者たちも、意思疎通の支援や意識・認知の研究を、長期的な活用の方向として挙げています。
医師の立場で考えると、患者さんが言葉で説明しにくい視覚的な体験を伝える道具へと発展する可能性も、興味深く感じます。
私たちが見たり思い浮かべたりした場面が、ほかの人に見せられる画像になりつつあります。
これからの目標は、単にどれほど見事な絵を作れるかではないでしょう。その画像に、その人の体験をどれほど正確に映し出せるかが重要になるはずです。
参考にした研究
1. Scotti PS et al. MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data. ICML / PMLR 235:44038–44059 (2024).
2. Shen G, Horikawa T, Majima K, Kamitani Y. Deep image reconstruction from human brain activity. PLOS Computational Biology 15(1):e1006633 (2019).
3. Kneeland R et al. MIRAGE: Robust multi-modal architectures translate fMRI-to-image models from vision to mental imagery. PLOS Computational Biology 22(5):e1014263 (2026).
4. Shirakawa K et al. Spurious reconstruction from brain activity. Neural Networks 190:107515 (2025).
#脳科学 #脳スキャン #fMRI #生成AI #MindEye #脳画像 #人工知能 #ReverseEntropy