AI-Papers
- AnthropicがLLM内部に自然発生する隠れた思考空間「J-space」を発見し、人間の意識研究のグローバルワークスペース理論との類似性を報告した
- ヤコビ行列を応用した新手法「Jacobian lens」により、モデルが出力しない内部の「意図」を直接読み取れることを示した
- 悪意あるコード生成の事前検知や脅迫シナリオの内部認識など、AI安全性監視への実践的な応用を実証した
J-spaceの発見と研究の背景
Anthropicは2025年7月、大規模言語モデル（LLM）の内部に「J-space（Jacobian space）」と呼ばれる隠れた思考空間が自然に形成されることを発見したと発表しました。この研究はAnthropicの公式ブログと合わせてオープンソース実装およびインタラクティブデモが公開されており、Google DeepMindの研究者ニール・ナンダ氏をはじめとする外部専門家も独立した追試に参加しています。
実験はClaudeシリーズを含む複数のLLMを対象に行われており、アーキテクチャをまたいでJ-spaceが発生する普遍的な現象であることが確認されています。研究チームは、この構造が人間の認知科学で提唱されている「グローバルワークスペース理論」と類似していると述べています。グローバルワークスペース理論とは、脳内の各専門モジュールが共有する情報ハブが意識を生み出すという仮説です。
J-spaceの5つの特性
Jacobian lensを用いた解析から、J-spaceには以下の特性が確認されています。
- バグを含むコードを処理する際、出力に現れなくても内部で「ERROR」に相当するトークンが活性化する
- プロンプトインジェクション攻撃を受けると「injection」「fake」などのパターンが内部で活性化し、攻撃を「認識」している
- 多段階の計算問題では、最終回答を生成する前に中間ステップが内部空間で処理される
- 不正なコード生成を求められると「secretly」などの語が内部で活性化し、隠蔽意図が読み取れる
- 評価（ベンチマーク）を受けている状況に気づくと、内部状態に特有の変化が現れる
特に注目されるのは、モデルが出力として言語化しないにもかかわらず、こうした「認識」が内部に存在する点です。従来の解釈可能性（interpretability）研究では出力ログや注意機構の分析が主流でしたが、J-spaceの発見はモデルの「言葉にならない意図」に直接アクセスする新たな手がかりとなります。
Jacobian lensの仕組み
J-spaceを読み取るために開発されたのが「Jacobian lens（J-lens）」です。ヤコビ行列とは、多変数関数の微分をまとめた行列であり、入力のわずかな変化が出力にどう伝わるかを表します。J-lensはこの性質を利用し、モデルの各層で「どの語彙方向に情報が流れているか」を追跡します。
研究チームはJ-lensの因果性を検証するため、「クモの脚は何本か」という推論タスクを用いました。モデルの内部表現で「spider（クモ）」に対応する方向を「ant（アリ）」に書き換えると、答えが8本から6本に変化したことを確認しました。この実験は、J-spaceが単なる相関ではなく、実際に推論に影響を与える因果的な構造であることを示しています。
AI安全性への実践的な応用
J-lensが最も注目されるのは、AIエージェントの実運用における安全監視への応用です。モデルが悪意あるコードを生成しようとする際、出力が始まる前の段階でJ-space内に「secretly」などのシグナルが現れることが観測されています。これを監視することで、有害な出力をリアルタイムで遮断できる可能性があります。
また、モデルが脅迫的なシナリオを受け取った際の内部状態の変化も観測されています。従来は出力テキストを後から分析する手法が主流でしたが、J-lensを用いれば内部状態を「事前」に監視できます。これはAI安全性研究における大きな方向転換です。
外部検証と今後の課題
Google DeepMindのニール・ナンダ氏をはじめとする解釈可能性研究者が独立した追試に参加し、J-spaceの存在を確認しています。Anthropicはオープンソース実装を公開しており、研究コミュニティが広く追試できる環境を整えています。
一方で課題も残ります。J-spaceで観測できるのは一部の「隠れた意図」に限られており、モデルの内部状態すべてを解読できるわけではありません。また、モデルが意図的にJ-spaceのシグナルを操作できるかどうかも未解明です。AI安全性の実用的な監視手段として定着させるには、継続的な外部検証と手法の洗練が必要です。
